中科院赵地：深度学习在 4 大超声影像中的应用

AI掘金志出品

雷锋网旗下只报道“AI+传统”的内容频道

《未来医疗大讲堂——医学影像专题》第三期总结文：一个只给医疗AI从业者、影像科医生、名校师生、CFDA工作人员看的系列课程。

赵地教授从深度学习的技术在人类的4大病种(臂丛神经、关节、乳腺、脂肪肝)影像中的前沿应用和大家分享了团队的研究成果。

医学影像是一个非常热门的领域。超声成像不仅仅是超声仪器的小型化，还可以和移动计算、云计算结合。在这样的情况下，应用场景就会大大拓展。

赵地博士在授课过程中提到了特征强调的概念：机器学习都要进行特征工程的选取，再进行相关算法的训练。特征强调不需要选择具体的特征，研究人员可以强调某一部分的特征，进行得到更精确的检测结果。这个概念对于后续的深度学习算法的设计有非常好的作用，特别是在医学影像分析方面。

嘉宾介绍

赵地：中国科学院计算机网络信息中心（CNIC），百人计划，副研究员

中国科学院计算机网络信息中心“百人计划”赵地博士毕业于美国路易斯安娜理工大学，并在美国哥伦比亚大学和OSU从事博士后研究，在人工智能的医学应用工作十余年。赵地老师带领的脑科学计算研究课题组与NVIDIA成立“GPU教育中心”及“智慧医疗联合实验室”。

该团队针对人类典型性疾病的早期诊断和治疗展开研究，提出众多解决方案并取得一系列成果。针对北京市乃至全国人口老龄化问题，赵地老师与首都医科大学天坛医院及宣武医院合作，率先在国内开展了基于医学领域知识及深度学习的阿尔茨海默病早期诊断的研究，承担了北京市自然科学基金重点项目及北京市科技重大专项等多项课题。

同时，该课题组已与国内十几家医院合作，在HIV引起的认知障碍、血管性认知障碍、肺癌筛查、颈动脉超声识别、前列腺癌智能诊断、糖网鉴别等诸多领域展开深入研究，并取得了一系列突出成果。

课程内容：

如何在医学影像分析中应用好深度学习

基于深度学习的臂丛神经识别

基于深度学习的关节智能识别

基于深度学习的乳腺超声影像分析

基于深度学习的脂肪肝超声影像分析

以下内容节选自赵地博士课程

基于Segnet的臂丛神经检测

外科手术已经成为日常医疗过程中不可缺少的治疗手段，但是随之而来的是外科手术对病患身体与精神上的巨大创伤，特别是手术中及术后护理过程中的疼痛对病人有着极大的精神压力。

因此，为了缓解术中与术后疼痛，现在广泛使用各种麻醉方式进行镇痛。但是这也不可避免的带来副作用，特别是麻醉药剂对神经系统的损害，因此为了提高麻醉效果，并且减小麻醉药剂使用量，局部麻醉中药剂注射部位精准度就成为关键。超声设备在现代医学检测中有着广泛的应用，其主要优势有：便于移动；无创伤；价格低廉；没有辐射。但是超声也有缺点：分辨率弱于CT；检查结果易受医师水平影响。

赵地表示，在上肢手术与术后护理中，臂丛神经阻滞是一种常用的局部麻醉方式，为了精确确定臂丛神经位置，现在广泛应用超声设备对神经系统进行检测和定位。

由于臂丛神经超声图像是识别神经结构和位置的重要来源，因此超声图像识别准确度直接影响注射针头或者留置导管介入，而传统的超声图像识别是基于医生或者护士的经验，所以介入精度受到人为因素影响。

为了使计算机能够模拟医生，向医生学习，赵地博士团队采用直接模拟“人”的方式入手，模拟人类大脑和视觉系统机理，从而实现把医生在治疗过程中问询，结合化验结果，检查和诊断结论等知识放入计算机中。

针对介入精度受人为因素影响等问题，赵地博士团队提出了一种基于深度学习(Deep Learning, DL) 中卷积神经网络(Convolutional Neural Network ,CNN )架构的SegNet改进模型，用该模型训练臂丛神经超声图像数据，找出臂丛神经组织特征，进行臂丛神经组织自动检测与分割。

他表示，Segnet的优点是分割的精度比较高，可以辅助麻醉手术甚至是远程医疗，缺点是运算量比较大，需要高性能的设备支撑。

此外，赵地博士团队的基于Segnet的臂丛神经检测的训练精度可以达到96%，基本满足临床上对于臂丛神经超声影像分析的需求。

为了避免仅使用肉眼对比训练数据的准确度进行模型评估，在模型训练完成后，赵地的团队将测试数据送入模型，然后上传测试结果至Kaggle网站对实验结果进行比较和评价，Kaggle网站使用戴斯系数（Dice coefficient）来评估图像分割结果和原标签数据的相似程度。

基于图像前处理的臂丛神经检测性能的提高

在此前的研究基础上，赵地博士的团队还通过对图像进行前处理，得到边界增强效果，从而进一步提高臂丛神经检测的性能。

选择一个好的前处理方式，对于特定检测的目标的隐藏需求是很重要的，从超声图像中分割臂丛神经，更关注对于边界的把握。

通过对臂丛神经的图像能够进行了两次边界增强以后，利用Segnet进行分割，可以进一步提高检测精度，降低错误率。

他还分享了该项研究成果在超声机上实际应用的效果。不同于实验室环境，超声机的运算能力有限。当超声扫查面在接近臂丛标准面时，概率图比较接近真实情况。

由于数据集不够大、检测体位的变化，导致超声机实际操作过程中出现了假阳性诊断过多的现象。

赵地表示，在实际真机上要有好的处理效果，还需要增加预处理，以确保灰阶分布与训练数据比较接近。

现在超声都是连续的，身体项目的考核指标需要实时更新，如何在检测模型的精度和速度上达到比较理想的效果，还需要进一步的研究。

乳腺结节/乳腺癌

随后，赵地博士还讲到乳腺结节筛查等方面的工作。

国内外研究的基本方法是基于纹理特征的检测方法和基于形态学的检测方法。基于纹理特征的检测方法是通过提取中心矩、熵等纹理特征，应用现行分类器识别肿瘤判定良恶性；基于形态学的检测方法是对肿瘤进行半自动分割，提取肿瘤特征进行乳腺癌的分级诊断。

但是其中还存在两点问题：1、没考虑到肿瘤的特殊形态及表现 2、过度依赖分割效果，出现特征提取不全面或不充分。

要达到识别结节的目标，赵博士的团队利用从医院获取的数据进行对抗网络等方法实现数据扩增。利用线性对比度拉伸、非线性拉伸、直方图均衡化等多种边界增强的方法，在Alexnet上进行训练。

经过这几种前处理的方式以后，准确率有明显的提高。赵博士表示，希望能够对更多的临床数据进行分析，不断探索图像前处理的方法，包括对抗网络的设计方式，让结果得到进一步的提升。

在课程中，赵地博士还讲授了利用机器学习在脂肪肝纹理特征进行前处理，实现特征增强以及深度学习技术在关节方面的一系列工作。“如果我们可以把脂肪肝的超声检测做到更高的精度，甚至像臂丛神经一样，如果能够与移动超声仪器相结合，将会产生非常大的价值。”

他表示，通过前处理的方式，可以有效地提高检测的精度，这项工作非常重要而且很有必要。特别是超声影像存在手法的问题，对于算法的设计者又提出了很多挑战。

学员部分问题

直播结束后，学员从不同维度提出了25个问题，赵地博士对多数问题进行了耐心解答。

问题：

1、深度学习应用于医学影像的话是否数据预/后处理比模型搭建更重要？对于小样本和类别不平衡的数据该如何处理呢？

2、您觉得目前市场上哪3类病种影像分析方向最有前景？

3、边界是怎么增强的？

4、医学图像中有些分割目标相比较于背景而言非常少，一般如何解决医学图像中正负样本不均衡问题？

5、对于分割区域标注不是很准确的情况，有什么好的解决方案么？

6、对于用于脑瘤分割的核磁共振图像的比较好的图像前处理是什么？

……