不在计划之内的再次住院一直是加重患者负担和高成本的医疗问题。与经由外科门诊就诊后有计划地办理的术后再入院不同,患者通过急诊的方式再次入院往往病情更加复杂,同时会消耗更多宝贵的医疗资源。目前已开发出用于检测意外再入院风险的患者模型,但其中多数模型只关注单一的疾病状态,不能应用于整个术后人群。此外,这些模型大多是专门为非手术患者所建立,难以在不同的队列中进行验证,其中许多模型需要获取患者自出院时起的大量数据,而需要等到患者出院常导致常规术后护理的缺失,这种延误也可能导致住院时间的延长。临床决策具有及时性的特点,需等到出院时间点从而大大降低了模型的临床效能。
开发患者风险模型的一个有效途径是机器学习,能够处理大量的输入特征并生成准确的预测模型。具体而言,基于机器学习的方法能够建模非线性关系和交互作用,通常优于标准的logistic回归。在这项研究中,研究中描述了一种基于机器学习方法的创建与验证,该方法能够成功用于预测患者在术后30天内经急诊再次入院的风险。研究的主要假设是,机器学习方法能够建立具有良好辨别力的再入院预测模型。第二个假设是机器学习建立的模型能够准确地预测术后再入院,而不依赖出院时的数据。
材料与方法
数据提取:数据提取方法符合加利福尼亚大学洛杉矶分校研究所审查委员会, 所有研究数据都是通过过往发表的加州大学洛杉矶分校麻醉与围手术期医学系的围手术期数据库获得。围手术期数据库是一个结构化的报告数据模式,包含输入到美国电子健康记录系统中的所有相关临床数据。
模型终点的定义:通过急诊科重新入院定义为在术后30天内通过任何急诊科进入加州大学洛杉矶分校,然后转移到非急诊科的所有患者。模仿医疗保险和医疗补助服务中心对术后再入院的定义,为了更准确地匹配定义,由第三方供应商创建的专有算法进行核算。研究期间,约40%的罗纳德·里根医疗中心30天的再住院患者通过急诊室到达医疗中心,另外40%通过围手术期手术地点进入,其余20%的再住院患者直接到达住院地点。40%的患者通过围手术期手术地点到达与我们的主要结果不一致,因为很难确定哪些手术是作为计划外进行的,哪些是作为计划内进行的,如白内障手术,因为眼科医生很少对同一个患者双眼同时进行手术,而通常是根据设计将病例推迟两周。至于直接入院的20%,存在同样的问题,因为我们无法明确区分哪些患者因并发症而入院,哪些患者需要辅助治疗(即术后化疗)。
模型输入的特征
一般数据:入院时生存率的变量,如失血量和手术时间, 整体健康的变量,如美国麻醉师协会评分,以及描述患者健康特定方面的变量,例如急性肾损伤及患者在过去入院期间是否接受过疼痛管理服务的咨询。此外还包括非医学、人口统计学变量,如患者的年龄、种族、种族和主要语言。
实验室数据:实验室检查:胆红素、肌酐、葡萄糖、红细胞压积、血红蛋白、INR、PaCO2、血小板、PaO2、钾、钠、尿素氮和白细胞计数。
药物数据:在每次入院期间,患者通常会服用许多不同种类的药物。对于每种药物,通过访问药房服务定义药物类别(总共99种)和子类别(总共537种)。对于每个药物类别,创建了指标变量来指示该类别的任何药物是否在入院期间开过处方,该类别的任何药物是否在入院期间服用,该类别的任何出院药物是否入院时开的药。
团队数据:罗纳德·里根医疗中心共有170个外科、医疗或咨询团队。对于每个团队,创建一个指标变量用于计算分配给每个准入的团队总数。
模型开发
研究中共考虑了三种不同的模型:正则logistic回归模型、随机森林模型和梯度增强树模型;后两种模型被归类为树集合模型。这些模型不同于经典的logistic回归,能够在不过度拟合的情况下扩展到大量特征。尽管这些模型以不同的方式实现这一点,但其基本原理是,每个模型的估计过程都能控制模型的复杂性及模型对数据的敏感程度。
外部验证
外部验证需要在一个数据集(罗纳德里根医学中心数据)上训练一个模型,并在另一个数据集(圣莫尼卡医院数据)上评估所创建模型的性能。目标是将数据源(如围手术期数据库)转换为数据集(然后可以转换为预测模型),而不是验证罗纳德里根医学中心数据集产生的特定模型。此外,研究同样验证该方法是否适用于罗纳德·里根医疗中心以外的机构。
时间验证
除了外部验证外,研究还进行了总体验证。提取了2017年和2018年罗纳德·里根医疗中心的入院病例,在基础数据集(2013-2016)所涵盖的时间段之后,并以与基础数据集完全相同的方式得出了终点和特征。然后,使用开发的模型,对2013年至2016年罗纳德·里根医学中心数据的十个随机分割,进行预测。利用曲线下面积、正预测值和负预测值对预测结果进行评价。目的是评估模型在前瞻性使用时的性能,从而模拟这些模型在实践中的使用方式。
结果
数据提取:2013年4月至2016年12月从围手术期数据库中提取18岁或18岁以上(n=28728)的患者。共招录34553人,其中21人因是器官捐献者而排除,最终纳入34532例入院构成了我们完整的数据集。为确定终点,纳入了3407例入院后并在30天急诊再次就诊;1439例因没有重新入院,急诊就诊后转院到一个单位而被排除在外,另外,26人因出院当天再次急诊就诊被排除在外。最终,在34532例入院的完整数据集中,5.6%的入院符合终点定义。图1总结了包含/排除标准。
图1:急诊再入院的所有数据集的纳入和排除标准
图2 使用L1 logistic回归、随机森林和梯度增强树模型训练的真假阳性率
模型性能
预测指标,表1显示了不同预测模型(L1 logistic回归、随机森林和梯度增强树模型)和使用不同变量集曲线和Brier评分指标下区域。仅使用一般数据得出的面积下的曲线值约为0.73至0.76。将实验室数据添加到0.85到0.87的范围内,曲线下的面积明显增加。医疗、团队和当前的程序术语数据并没有导致曲线下面积的显著改善。为了进一步比较这些模型,图2使用一般数据和实验室数据以及医院和LACE评分,为我们的模型绘制了接收器-操作者特征曲线。图3同样使用一般和实验室数据以及医院,为我们的模型绘制了相同随机分割数据的精确曲线。
表1:不同预测模型和使用不同变量集曲线
图3 使用L1 logistic回归、随机森林和梯度增强树模型训练的精度曲线
三种模型表现相似,但都优于医院。图2使用常规数据和实验室数据为我们的模型绘制了校准曲线,用于相同的数据随机分割。我们的模型通常会产生与实际再入概率非常吻合的概率预测。随机森林模型在0.05~0.30范围内高估了再入风险,而L1正则logistic回归和梯度增强树模型在同一范围内都低估了再入风险。
出院前与出院后预测
使用圣莫尼卡医院数据进行外部验证:在圣莫尼卡医院应用了与罗纳德·里根医学中心相同的方法,从圣莫尼卡医院19650例外科住院病人中提取了相同时间跨度的数据。在移除器官捐赠者(18例入院)后,19632例入院构成了我们完整的圣莫尼卡医院数据集。其中,820例(4.2%)入院者有急诊科再入院,符合研究的终点定义。
研究将数据按70-30分成训练集和测试集。在对70%的数据进行分析后,测试集包含5890例入院患者,结果是246例通过急诊室再次入院,研究包括只使用一般数据,及同时使用一般数据和实验室数据训练相同的三个机器学习模型。一般数据和实验室数据的模型结果与罗纳德·里根医学中心的结果几乎相同,曲线下面积在0.86到0.88之间。此外,研究还利用这些数据来训练和评估出院前预测模型,验证的所有模型曲线下面积都在0.85至0.88范围内。另外,时间验证结果与2013年至2016年的早期结果之间的一致性表明,2017年至2018年的结果与2013年至2016年的结果相似。三个模型均在0.20-0.40范围内达到正预测值,负预测值大于0.96。我们注意到,由于数据中急诊室重新入院率较低,正预测值较低。L1-logistic回归和梯度增强树比随机林具有更高的正预测值,但其负预测值略有降低。这与我们的校准结果一致,这表明随机森林经常高估重新接纳概率。在我们之前的结果中,梯度增强树和随机森林没有显示出超过L1 logistic回归的优势,尽管它们能够自动建模交互作用和非线性。
“神麻人智”点评
本研究通过基于机器学习的方法开发创建模型能够成功用于预测患者在术后30天内经急诊再次入院的风险,该模型能够准确地预测患者术后急诊再次入院的风险,与传统的数据库可能依赖患者出院时数据等相比,该模型并不依赖于患者出院时的数据,从而使医疗效率及质量得以提升。
研究中对所建立模型(L1 logistic回归、随机森林和梯度增强树模型训练)的效能进行了全面的验证,包括外面验证及时间验证,并比较各模型之间的真假阳性率,研究证明该模型具有高度预测的辨别力,能够在术后36小时预测患者急诊再入院的风险,从而给治疗小组时间以制定降低急诊再入院的策略,不过对于该模型的质量及优势,仍需未来研究进一步的证实。
编译:吴亦奇,罗猛强
述评:邓萌
(公益支持)
(向上滑动查看内容)
“神麻人智”系列回顾:
30.基于机器学习的多模态神经影像学与自主神经活动参数或可预测疼痛
领取专属 10元无门槛券
私享最新 技术干货