【文献学习】一种机器学习决策树算法的开发、评估及多站点部署，以优化尿检参数来预测尿培养阳性结果

病理医师

一种机器学习决策树算法的开发、评估及多站点部署，以优化尿检参数来预测尿培养阳性结果
【文献学习】



PART.1
研究背景
   仅从病史诊断尿路感染（UTIs）具有挑战性，因为这些感染可能伴有非特异性的体征和症状。在临床病史和体格检查的背景下，结合宏观和微观尿分析（UA）参数的各种组合被用于初步诊断UTI。最常用的尿分析参数是细菌、白细胞（WBCs）、亚硝酸盐或白细胞酯酶的存在。琼斯等人表明，在急诊科环境中使用反射式方案可将尿培养的数量减少多达 39%，同时仅遗漏 314 例阳性尿培养中的 11 例（3.5%）。
   在本研究中，我们基于宏观和微观的尿分析特征训练并验证了一种用于预测尿路感染（UC）阳性结果的递归分区决策树算法，以支持一项更广泛的计划，即实施一项基于强大的电子健康记录（EHR）的诊断管理干预措施，用于尿路感染检测（UIT），旨在提高尿路感染检测的合理性。尿路感染检测（UIT）委员会专注于最大化尿分析（UA）到尿路感染（UC）反射方案的阴性预测值（NPV），以便将其作为一种适当的筛查工具，在维持处方开具者信任的同时减少尿路感染检测的使用。
PART.2
材料与方法
   从电子健康记录和实验室信息系统中，提取了 2017 年 1 月 1 日至 2017 年 12 月 31 日期间，在匹兹堡大学医学中心（UPMC）学术医疗保健系统的五家医院的非产妇住院和门诊单位中，对成年患者（18 岁及以上）进行的尿白蛋白（UA）和尿培养（UC）检测结果的数据集。
  对 5 家医院的尿分析（UA）和尿培养（UC）标准操作程序（SOP）进行了审查，以评估 5 家医院在尿分析参数报告方面的差异，以及尿分析 WAM（Sysmex，伊利诺伊州林肯郡）中间件规则如何将原始计数转换为每个站点的分箱序数值的差异。对于这 5 家医院，查询了 LIS Sunquest（Sunquest，图森，亚利桑那州）以确定用于尿分析和尿常规的所有订单代码、所有与尿分析相关的样本类型的名称，以及每个尿分析参数的 LIS 测试结果代码。
  所有站点尿分析均使用Sysmex UF-1000i（Sysmex，伊利诺伊州林肯郡），其通过流式细胞术进行鉴定和定量，使用Clinitek Atlas或Clinitek Novus（明尼苏达州拉姆齐市Clinitek）根据每个实验室的标准操作程序，在需要时进行人工显微镜检查。尿培养在每个医院的微生物学实验室使用标准方法进行。研究的尿分析参数包括白细胞、细菌、红细胞（RBCs）、白细胞酯酶、硝酸盐、比重、pH 值、特征、蛋白质和血液的存在。如果至少有 10,000 CFU/mL 的一种或多种可能的尿路致病菌，则尿培养被视为阳性。
PART.3
研究结果
反射式算法的推导
   该反射式算法的推导包含38,361 例尿路上皮癌（UA）和非癌性膀胱炎（UC）病例（图1）；患者平均年龄为57.4 岁，70%的样本来自女性患者（表1）。大多数样本来自急诊科（39.2%）、门诊（30.3%）和住院病房（25.2%），超过98%的样本要么是清洁采集（92.5%）要么是Foley 导管（6.1%）样本。95%的样本中，UA 和 UC 样本的采集时间差异在5.3 小时内。所有病例的大体和显微镜下UA 结果的汇总数据见补充材料（表1 和 2）。训练数据集包含19,511 例，其中5,223 例（26.8%）的尿隐血试验结果呈阳性。使用训练数据进行的ROC 分析表明，尿白细胞、白细胞酯酶和细菌是尿隐血试验阳性结果的最佳判别因素，ROC 曲线下面积（AUC）分别为0.79、0.78 和 0.77；尿比重和pH 值是尿隐血试验阳性结果最差的判别因素，AUC 分别为0.48 和 0.51（图2）。优化后的递归分区决策树如图3所示；反射算法包括使用白细胞酯酶和硝酸盐来预测是否应进行显微镜下的尿白细胞分析，然后使用白细胞和细菌来预测尿隐血试验阳性结果。测试数据包括9773 例，其中2571 例（26.3%）的尿隐血试验结果呈阳性。使用预留的测试数据集，PittUDT 算法达到了预先指定的总阴性比例（真阴性加上假阴性）为30%至60%的目标。



   预测的阴性预测值高于90%，假阴性率低于5%。在对年龄（<60 岁与>60 岁）、性别和样本类型进行分层后，测试数据集中算法的性能见表2和表3，算法在不同医院和环境（住院、门诊、急诊科和重症监护病房）中的性能见表3和表4。从女性和急诊患者中采集的样本的阴性预测值略低于预先指定的90%目标，这与这两个患者组中尿培养阳性比例较高有关：女性阳性培养的比例为29.3%，而男性为19.4%（P < 0.001）；急诊患者阳性培养的比例为35.9%，而其他部位采集的阳性培养比例为20.3%（P < 0.001）。同时采集的配对尿/尿培养样本（同时采集）和非同时采集样本之间的阴性预测值（91.2% 对比91.4%，P = 0.8779）、总阴性比例（53.8%对比51.8%，P = 0.07251）或假阴性比例（4.7% 对比4.4%，P = 0.5996）没有显著差异（表3）。






质量控制程序模拟
   使用了2017 年 10月1日至2017年12月31日期间所有完整数据测试案例的数据来模拟该程序的实施。
   在所有五个站点对验证算法进行了验证（n = 9077 例，其中2408 例，即26.5%为尿隐血阳性）。在补充材料中提供了模拟一次质量控制（QC）运行的结果，显示所有站点每月有4例或更少的质量控制失败（图1）；还展示了每个时期的实际假阳性率。当使用随机质量控制抽样对质量控制程序进行1000 次模拟时，质量控制测试失败率在该时期实际假阳性率最高的站点最高（站点1 的模拟中有1.5%，站点2 的模拟中有4.1%，站点3 的模拟中有9.4%，站点4 的模拟中有4.5%，站点5 的模拟中有0.4%）。



在实际应用中分阶段部署期间进行本地站点验证
   研究了皮特大学尿路感染检测算法在5 个医院站点的表现。总共随机选取了594 份样本，这些样本被该算法归类为低风险且未提示尿路感染，进行了培养。其中，589 份样本的培养结果为阴性。在这5 个医院站点中，一致性在预测为低风险（即预测为非溃疡性结肠炎结果）的PittUDT UA 结果中，与实际溃疡性结肠炎结果的符合率在98.4%至100%之间（表4）。









PART.4
研究结论
   在多个站点实施尿分析（UA）反射至尿细胞学（UC）协议能够显著减少不必要的尿细胞学检查数量。反射尿细胞学协议所使用的尿分析参数和阈值差异很大，历史上是根据专家意见或单变量ROC 分析来确定的（12）。我们的研究表明，使用监督机器学习（ML）方法开发一种人类可解释的机器学习模型来优化反射协议中的尿分析参数是可行的，该协议可以部署在大型学术医疗保健系统中的多个医院站点和环境中。我们的研究还强调，即使实验室结果是在同一健康系统内使用相同仪器在单个实验室生成的，也需要由对实验室流程、中间件规则和实验室信息系统（LIS）规则有详细了解的人员进行严格的SOP 审查和强大的数据清理过程。我们的研究表明，基于规则的算法在尿检/尿培养（UA/UC）数据上进行训练，对于尿液样本的分级筛选（识别出低风险且不太可能滋生病原体的样本）具有足够的预测能力，其假阴性比例低于5%。
PART.5
讨论
  PittUDT 算法在年龄、性别、医疗保健环境（住院、门诊、急诊科和重症监护病房）以及样本类型（清洁采集、直管导尿和Foley 导尿管）的分层中表现相似。我们的方法的一个优势在于，相同的规则已被证明适用于各种医疗保健环境，尽管在门诊采集的样本中观察到的性能最佳。
   PittUDT 算法是通过递归分区由一个实验室专家组与卫生系统感染控制委员会共同创建的可读性强的决策树（图3）。这种领域专业知识被用于确定假阴性和假阳性适当的权重，并确定应优先考虑哪些指标（例如，阴性预测值）。我们开发该算法的经验突显了实验室主任在确保数据完整性和等同性方面的作用的重要性，这些在所有细微的决策中构成了任何机器学习算法实现的基础部分。在实施监督学习算法时，一个担忧是能够监测并检测到由于输入数据分布的变化（例如，所服务的患者群体变化或实验室方法、试剂或仪器变化）而导致算法性能随时间的推移发生的变化或漂移。UIT 项目正在这个大型多医院健康系统的其他医院部署，随着更多数据的生成，将对质量控制项目在实际使用中的情况进行详细审查。
   虽然PittUDT 算法可以针对医院之间的差异、医院内的位置以及性别的差异进行微调，但本研究的目的是为所有使用Sysmex UF-1000i（Sysmex，伊利诺伊州林肯市）和Clinitek Atlas 或 Clinitek Novus（Clinitek，明尼苏达州拉姆齐市）尿检仪器的站点创建一个通用算法。正如文献中所述，尿白细胞和细菌是尿路感染（UC）阳性预测的最佳指标之一。这两个参数源自自动化显微镜分析，其具有高重现性和准确性，尤其是通过流式细胞术进行检测时（21）。尿白细胞酯酶是白细胞数量的一种半定量测量指标，也是尿路感染阳性的一个良好预测指标。基于数据驱动参数的通用算法，在多样化的患者中具有可接受的性能，是一项艰巨但可以实现的成就，有助于在多站点医疗保健系统中更迅速地实施和控制变更。
PART.6
学习心得
  PittUDT 是一种基于宏观和微观尿检（UA）参数来预测尿培养（UC）阳性结果的递归分区决策树算法，是为支持更广泛的系统级诊断管理计划以提高尿培养检测的合理性而开发的。PittUDT 算法达到了预先指定的阴性预测值高于90%的目标，并导致总阴性比例（真阴性加上假阴性预测）为30%至60%。这些数据表明，在配对的上尿路感染（UA）和尿路结石（UC）数据上训练的监督是基于规则的机器学习算法对于通过识别不太可能滋生病原体的低风险尿液样本对尿液样本进行分诊具有足够的预测能力，其假阴性比例低于5%。决策树方法还会生成人类可读的规则，这些规则可以轻松地在多个医院站点和环境中实施。利用数据驱动的方法在反射式方案中优化尿路感染参数以预测尿路结石阳性，旨在改善抗菌药物管理和尿路结石的使用，这是节省成本的一个潜在途径。

文献来源：
[1] Seheult JN, Stram MN, Contis L, et al. Development, Evaluation, and Multisite Deployment of a Machine Learning Decision Tree Algorithm To Optimize Urinalysis Parameters for Predicting Urine Culture Positivity. J Clin Microbiol. 2023;61%286%29:e0029123.

原文地址：https://zhuanlan.zhihu.com/p/18686277657