14分+的利用深度学习从切除淋巴结组织病理学图像预测胃癌预后！

导语

N分期是预后评估和基于分期的癌症治疗策略决策的决定性因素。目视检查完整淋巴结的整个切片是目前病理学家计算转移淋巴结(MLNs)数量的主要方法，即使在同一个N期，患者的预后也有很大差异。

背景介绍

深度学习在医学图像处理上已经被广泛应用，今天小编为大家带来的这篇文章，作者提出了一个深度学习框架，通过分析胃癌（GC）的淋巴结全视野数字切片（WSI），来识别淋巴结（LN）和肿瘤区域，并提出了肿瘤面积与MLN面积比（T/MLN），可作为胃癌的一个独立预后因素。文章发表在《nature communications》上，影响因子为14.919，文章题目为：Predicting gastric cancer outcome from resected lymph node histopathology images using deep learning。

数据介绍

从CH医院和JX医院获得GC LNs的WSI，经过质量筛选最终选择出了9366个WSI，从中选择了21965个LN，其中7736个有转移病灶

结果解析

01

LN WSIs自动分析的工作流程

本研究的工作流程如图1所示。首先，对H-E染色的LN病理切片进行数字化。然后，选取少量样本让病理学家进行详细标注，并对分割网络和分类网络进行训练。使用经过训练的网络分析了所有WSI。接下来，根据系统的输出计算每个GC患者的T/MLN。最后，根据T/MLN，根据每个患者的N分期，通过Kaplan-Meier（KM）分析分析GC患者的总体生存率。此外，本研究在两个独立数据集上验证了这些结果：来自CH 医院 2006 -2008队列和JX医院 2016 -2019队列的GCLNs。

其中，分割网络采用U-Net体系结构。使用神经网络条件随机场（NCRF）作为分类网络。使用ResNet-50提取patch特征，并使用条件随机场对patch的空间相关性进行建模。

图 1

02

淋巴结转移的深度学习框架诊断

开发的深度学习框架如图2a所示。该框架包括三个阶段：分割、分类、T/MLN计算。LN分割网络使用U-Net架构从WSIs的1倍放大缩略图中提取LN区域。然后，通过700个有标记的WSI（包括1321个LN在内）对网络进行全面训练。在验证集上测试了分割网络的性能，发现平均Jaccard指数为95.8%，平均Dice分数为98.6%。算法输出示例如图2b所示，其中排除了LNs外的脂肪组织和肌肉纤维。在AI辅助诊断输出热图后，病理学家检查热图的高置信度区域并纠正其错误区域。

在确定LNs轮廓和肿瘤成分后，计算分析系统可以直接精确计算出肿瘤成分和LNs的比例（从0.01%到100%）。

图 2

03

利用AI辅助分析改进诊断过程

病理学家在诊断肿瘤组织方面具有更好的特异性，而AI具有更好的敏感性和速度。病理学家与AI相结合的协同作用比临床医生与AI的对比更具临床意义。在这项研究中，两位高级病理学家进一步回顾了基于这些热图的所有WSI，即 AI辅助模式。在AI辅助识别的6.8%(360/5299)的MLNs中，肿瘤病灶未被病理学家发现，在1.5%(82/5299)的病理诊断的MLNs中，肿瘤病灶未被AI发现。综上所述，仅AI的准确率为96.9%（14761/15234），灵敏度为98.5%（5217/5299），特异性为96.1%（9544/9935）（图3）。

图 3

04

用T/MLN预测肿瘤预后

LN的数量和MLN的比率，尤其是前者（图4a），与患者预后密切相关。然而，目前的N分期系统忽略了一个重要因素，即MLN中转移性肿瘤细胞的面积（T/MLN），该因素在不使用深度学习的情况下很难获得，但却与癌症患者的预后相关(图4b)。

图 4

基于深度学习精度计算T/MLN，表明随着N分期的改进，T/MLN可能从N1时的0.270±0.318增加到N2时的0.395±0.293，以及N3时的0.517±0.243。此外，即使在同一阶段，不同患者的T/MLN也存在显著差异（图4c）。如图4c所示，在N1期的GC患者中，有一半的T/MLN<5%，而另一半患者的T/MLN值范围很广，从5%到100%。使用单因素生存分析，发现较高的T/MLN（>0.45）与不良预后相关（风险比HR=2.05，95%可信区间CI1.66-2.54，P<0.001）（图4d-f）。为了评估T/MLN的独立预后能力，我们接下来进行了多变量分析。在多变量Cox回归中，包括T/MLN、N分期、组织学分级、年龄、大小、组织学类型、Lauren类型、病理肿瘤分期、手术类型，输血、位置和性别，T/MLN的HR为1.39,95%CI为1.10-1.75(P=0.007)。

05

在独立队列上进行验证

然后，将深度学习框架在CH 医院 2006-2008 GC队列（215例，2044个WSI和4343个LNs）和JX医院 2016-019 GC队列（92例，904个WSI和2260个LNs）的LNs WSI独立数据集上进行了测试。如图5所示，在没有迁移学习的情况下，框架的性能仍然令人满意。对于来自CH 医院 2006-2008队列的WSI（图5a，b），仅AI的灵敏度为97.9%（1730/1767），特异性为86.3%（2223/2576）。对于来自JX医院2016-2019年队列的患者，仅AI的灵敏度为96.0%（1013/1055），特异性为85.1%（1026/1205）（图5c，d）。

图 5

验证了这两个队列中T/MLN和T/MLN预后之间的相关性，结果与CH医院2001-2005年队列相似。

06

用WSIs预测肿瘤转移

该预测系统的视觉预测能力有助于展示具有转移的淋巴结切片中呈现的多维空间信息。在生成的热图上，每个贴片的颜色与肿瘤成分的概率成正比。不同颜色的分布代表肿瘤细胞侵入LN的视觉轨迹。这些LN的热图表明，大多数肿瘤细胞从LN周围的传入淋巴管开始侵蚀LN（图6a）。淋巴结门是血管、神经和输出淋巴管的通道。如图6b所示，许多肿瘤细胞从门开始侵蚀LN。在从淋巴管或淋巴门侵蚀LN后，肿瘤细胞逐渐侵蚀LN的内部组织，直到所有LN转移。说明该系统可视化工具在从H-E染色的肿瘤组织的WSIs中提取隐藏特征方面具有非常强大的功能。

图 6

小编总结

该深度学习算法解决了之前观察到的一个难以解决的问题，即转移性肿瘤细胞数量与预后之间的关系。表明深度学习模型不仅可以帮助病理学家检测淋巴结转移，还可以帮助肿瘤学家探索新的预后因素，特别是那些难以手动计算的因素。