将AR和显微镜结合用于癌症检测

近期，深度学习在眼科、皮肤科、放射科和病理科等医学学科领域展现出了广泛的应用前景，它可以帮助医疗机构向世界各地的患者提供更加精准、更易获得的优质医疗服务。Google 近期也发布了一项研究成果，这项成果显示，卷积神经网络能够检测出淋巴结中的乳腺癌转移，其准确度可与训练有素的病理学家相媲美。不过，到目前为止，病理学家诊断疾病的主要手段仍是使用复式光学显微镜直接观察组织，因此，如何将微观组织进行数字化展示成了深度学习技术在病理学科大规模应用的关键挑战。

在美国癌症研究协会 (AACR) 年会的演讲中，我们通过一篇题为“An Augmented Reality Microscope for Real-time Automated Detection of Cancer”（正在评审）的论文介绍了一款增强现实显微镜 (ARM) 的平台原型，我们相信这款产品可以帮助加速深度学习工具在全球病理学家中间的推广应用。此平台由一个经过改良的光学显微镜组成，这个显微镜能够对图像进行实时分析并直接在视野中呈现机器学习算法的分析结果。值得一提的是，只需使用低成本、现成的组件，就可以将 ARM 安装到世界各地医院和诊所中常见的普通光学显微镜中，而且无需对数字系统进行全面升级就能分析组织。

现代计算组件和深度学习模型（例如，在 TensorFlow 平台上构建的模型）使得这个平台能够运行大量的预训练模型。与传统模拟显微镜的使用方法一样，用户通过目镜观察样本。机器学习算法将其输出结果实时投射到光路中。此数字投影在视觉上叠加在标本的原始（模拟）图像之上，帮助观察者定位或量化感兴趣的特征。而且，重要的是，计算和视觉反馈更新非常迅速，目前实现的运行速度已接近 10 帧/秒，这意味着当用户通过移动玻片和/或改变放大倍数扫描组织时，可以获得流畅、无缝的视觉体验。

左图：ARM 原理概览。数码相机捕捉到与用户相同的视野 (FoV)，然后将图像传送给能够运行机器学习模型实时推理的附加计算单元。结果随即被反馈到一个自定义的 AR 显示屏中，此显示屏与目镜在同一直线上，并将模型输出投影到与玻片相同的平面上。右图：该图展示了已安装到典型临床级光学显微镜中的平台原型。

理论上，ARM 可以提供各式各样的视觉反馈，包括文本、箭头、轮廓、热图或动画，并且可以运行多种类型的机器学习算法以解决对象检测、量化和分类等不同问题。

为了演示 ARM 的潜在功能，我们将其配置为运行两种不同的癌症检测算法：一种用于检测淋巴结标本中的乳腺癌转移，另一种用于检测前列腺切除术标本中的前列腺癌。这些模型可以在 4-40x 的放大倍数下运行，并且给定模型的结果通过用绿色轮廓勾画出检测到的肿瘤区域来显示。这些轮廓可以帮助病理学家注意到感兴趣的区域，不会使潜在的肿瘤细胞看起来模糊不清。

通过 ARM 的镜头观察到的视图示例。这些图像展示了 4x、10x、20x 和 40x 放大倍数下的淋巴结转移模型示例。

虽然这两种癌症模型最初都是在由一个具有完全不同光学配置的整个玻片扫描仪所获得的图像上进行训练的，但这些模型在 ARM 上表现非常出色，无需额外的重新训练。例如，在 ARM 上运行时，淋巴结转移模型的曲线下面积 (AUC) 为 0.98，前列腺癌模型在视野 (FoV) 中的癌症检测的 AUC 为 0.96，仅略低于在 WSI 上得到的结果。我们认为，可以通过在直接从 ARM 本身获取的数字图像上进行附加训练，进一步提高这些模型的性能。

我们相信，ARM 将对全球卫生事业产生重大影响，尤其是在发展中国家/地区的传染病诊断方面，包括结核病和疟疾等。此外，即使在即将采用数字病理学工作流程的医院中，ARM 也可与数字工作流程结合使用，因为在数字工作流程中，扫描仪仍面临重大挑战或需要实现快速周转（如细胞学、荧光成像或手术后的冷冻切片）。当然，光学显微镜已经在病理学以外的很多行业证明了自身价值，我们相信 ARM 可以应用于医疗、生命科学研究和材料科学等众多领域。我们很高兴能继续探索 ARM，帮助加速机器学习在世界各地产生积极影响。

Be a Tensorflower