CP-UNet:基于轮廓的医学超声图像分割概率模型 ！

基于深度学习的分割方法广泛用于检测超声图像中的病变。在整个成像过程中，超声波的衰减和散射会导致轮廓模糊和伪影的形成，限制了获取的超声图像的清晰度。 为克服这一挑战，作者提出了一种基于轮廓的概率分割模型CP-UNet，该模型引导分割网络在解码过程中关注轮廓。 作者还设计了一种新颖的下采样模块，以实现轮廓概率分布建模和编码阶段获取全局-局部特征。此外，高斯混合模型利用优化的特征来模拟轮廓分布，捕获病变边界的不确定性。 在三个超声图像数据集上与几种最先进的深度学习分割方法进行的大量实验表明，作者的方法在乳腺和甲状腺病变分割方面的性能更好。

I Introduction

超声成像广泛应用于各种疾病的诊断，由于其低成本、简单操作和非侵入性，因此在医学超声图像的病变分割中，基于深度学习的分割方法得到了应用。然而，由于超声图像中存在不均匀的病变区域分布、斑点噪声和成像伪迹，这增加了分割任务的难度。如图1(b)(c)(d)所示的病变与正常组织之间的结构边界线模糊，以及如图1(e)(f)所示的病变形状和纹理的不规则变化，都导致了轮廓模糊。这些因素共同影响了分割的准确性。

现有的方法主要致力于优化卷积神经网络以提高医学图像分割的准确性。UNet [1]及其变种 [2][3][4]通过编码器-解码器架构有效地将不同尺度的特征融合在一起，使得网络能够从图像中提取细粒度的局部特征。然而，卷积操作的有限感受野限制了特征感知，只能处理卷积核大小的局部信息。为了缓解卷积操作的局限性，ReAgU-Net [5]和UNeXt [6]提出了不同的策略来扩展感受野。虽然增强了深度编码阶段的上下文连接，但浅层编码阶段仍未引入详细特征的全局连接，这影响了模糊轮廓的准确识别。其他基于注意力机制的方法，如ConTrans [7]，ACC-Unet [8]，Segnetr [9]，利用改进的自注意力机制在全局编码阶段建立详细特征之间的连接，增强全局局部连接。然而，它们需要开发所有特征之间的互连，这在超声图像中轮廓的稀疏性是不必要的。作者利用注意力机制的融合策略建立全局链接，在保留详细特征的同时，将稀疏特征融合在一起。

针对轮廓特征的许多方法被用来为网络建立约束，以引导网络在增强对轮廓的关注度，从而解决超声图像中轮廓模糊的领域。例如，GCNet [10] 和 Wavelet U-Net++ [11] 都提供了对编码中间特征的病变区域大小的约束。AGMT [12] 研究了一种基于 Transformer 的乳腺癌超声损失函数，以增强病变形状的感知。然而，损失函数并不能完全表达轮廓特征，以学习特定轮廓的特征。当轮廓的局部边缘线变得模糊时，需要通过边缘线周围的像素、轮廓形状和范围特征等全局边缘线特征进行补充。作者使用高斯混合模型来模拟合成轮廓的分布特征，以打破单一损失约束，并建立通用的特征来指导分割网络中的轮廓表示。

为了获取通用的轮廓特征以指导分割过程，作者提出了CP-UNet，其中多组通道下采样（MgCSD）在注意力机制中采用融合策略，以保留详细特征并提供更全面的特征。然后，网络中的轮廓概率建模模块（CPM）突破了轮廓上单一损失约束的限制，以构建通用的轮廓特征。最后，基于门控机制的特征融合模块（GF）提供了有效的轮廓特征融合策略。

本文的贡献可概括如下：

1. 作者提出了一种基于轮廓概率模型的超声图像分割网络，该网络将轮廓特征与概率分布相匹配，并在不同阶段指导特征轮廓表示的增强，以提高分割结果。
2. 提出使用MgCSD代替传统的卷积降采样，以创建全局-局部链接，用于全阶段编码特征。GF可以在解码阶段将轮廓特征融合，从而在MgCSD和CPM以及降采样结果之间弥合语义鸿沟。

广泛实验表明，作者的方法在BUSI [13]，DDTI [14]和一种私人甲状腺超声图像数据集上，始终能提高乳腺癌结节和甲状腺结节的分割精度，超越了强大的 Baseline 和最先进的医学图像分割方法。

II Method

如图2(a)所示，作者提出的CP-UNet架构分为以下几个步骤。首先，通过多个多组通道下采样（MgCSD）模块对图像进行降采样。其次，将MgCSD的结果输入到轮廓概率建模（CPM）模块，使用混合高斯分布来拟合原始图像的轮廓特征。最后，通过基于门的特征过滤模块（GF），将上采样结果、下采样影响和相同维度的CPM采样结果融合在一起。最后，得到结节分割结果。以下子节将介绍MgCSD、CPM和GF模块。

Multi-group channel shifted downsampling

浅层卷积层能有效捕捉局部边缘线特征，但往往难以把握轮廓结构。更深层的卷积层，扩大感受野并捕捉轮廓特征的上下文关系，可能会损失边缘线的详细表示。作者提出了一种基于多个组通道空间位移加权下采样的方法。

转换操作如图2(b)所示，其中特征根据通道尺寸被分为组。第一组保持不变，其余的根据循环向上和循环向右的平移，在宽度和高度上进行平移，同时保持区域中元素的相对位置不变。在转换后，非特征区域被用零填充。平移后的特征用表示。

然而，位移操作将边缘区域与中心特征相连接，导致被移位区域的信息损失。因此，作者使用不变缩放卷积来增加详细信息，记作。

受到通道自注意力模块[15]的启发，本模块通过利用全局平均池化的结果来增强和在通道维度的性能，从而得到全局增强的权重，其表示如下：

在论文中， 和 表示元素级操作。完整局部特征保留通过卷积下采样，表示为 提供。将 和 相加，并将结果映射以获得混合作用矩阵。对于， 保留右分支的空间特征，同时保留全局特征。权重与[15]中的空间自注意力模块相同，融合过程如下所示：

在论文中，，其中和是元素操作。MgCSD替换并增强了传统的下采样模块，并可以作为编码阶段直接替换。特别地，请注意，由于全局加权分支的目标是特征而不是原始图像，因此在将原始图像映射到特征空间时，保留了一层简单的卷积。

Contour Probabilistic Modeling

由于病变轮廓的个别可变性，当局部边缘线不清晰时，与全局相比的降采样可以结合其他区域的轮廓信息。当轮廓形状不规则时，补充局部边缘线需要考虑全局轮廓的变化。作者使用概率建模来拟合普遍的轮廓特征，包括轮廓形状、边缘线、模糊程度等信息。然而，高斯混合分布可以拟合任何分布。因此，混合高斯分布的概率密度函数可以表示为几条线性加权权重和值的总和。

利用高斯混合分布，作者假设轮廓的K组高斯分布特征是从原始图像X中学习的，用表示。

具体来说，将MgCSD的输出作为CPM的输入，记为,其中L表示编码器层数。然后通过特征提取器映射到K组高斯分布，记为。

为了将获得的轮廓特征融合到解码阶段，作者使用[16]中的重参化技巧来从获得的K组高斯分布中进行取样。如图2(a)所示，取样结果经过加权求和，并与自适应可学习权重Ω相融合，以实现混合高斯分布的取样目的。整个过程被称为自适应同质重采样，其表达式如下：

其中，Ω∈R^{T×K}，T对应于相应阶段的特征通道数。z是从标准正态分布N(0,1)中采样得到的。

由于图像轮廓不仅是一个封闭的几何图像，轮廓线周围的像素特征对于构建轮廓分布同样重要，因此可以利用与CPM相同特征提取器处理的 Mask 处理图像Y的结果，这可以表示为μB(Y;θ′), σB(Y;θ′)={μi(Y;θ′),σi(Y;θ′)}i=0至K。

为了将轮廓分布约束以适应轮廓的实际分布，并专注于关键区域[17]，KL散射将使μA、σA沿μB、σB对齐，这被称为：

其中，， 和，，都是由K组高斯分布组成的，其中每组都是由均值-方差值的两个组合构成。

Gating-based feature filtering module

如图2(c)所示，为了将每个阶段采样的多个数据输入进行融合，一个门控机制对输入特征进行过滤，从而保留重要特征并抑制无关或噪声特征。F如下所示：

在上一层解码器输出的基础上进行采样的结果为， 和 分别是该阶段和从同一源进行自适应重采样得到的轮廓特征的编码特征，其大小与 相同。

GF模块建立基于通道的门控分支，为高频率信息F创建动态选择的中间表示。门控分支使用线性映射Linear、尺度不变卷积和激活函数GELU建立，得到的门控信号G都来自不同通道在精确的空间位置的特征信息。最后，使用尺度操作对每个嵌入通道特征进行门控信号权重加权，可以表示为：

其中, 和 与特征 的尺寸一致， 与线性操作 的嵌入维度一致，并且 是 的转置结果。下一阶段的上采样将使用 作为输入。

III Experiments

Datasets and Experimental Settings

本文在乳腺和甲状腺两种类型的超声数据集上验证了该论文中的模型。乳腺超声数据集BUSI [13] 删除了133张标准无病变病例图像，使用了包含结节665张图像。甲状腺超声数据集DDTI [14] 删除了带标签的损坏图像和扩充了多结节图像，使用了872张图像。实验还补充了私人甲状腺超声数据集TUI，包含15,233张图像，以充分验证结果。

整个网络使用SGD算法优化，具有0.9的动量、0.01的权重衰减、64的批量大小和200个 epoch。本文的初始学习率设置为1e-3，并使用余弦退火算法在训练过程中逐渐降低。网络在单个RTX-3090 GPU上进行训练。作者在CPM中使用VGG16BN作为特征提取器。作者使用二进制交叉熵（BCE）、 dice 损失和 KL 分散损失相结合来训练CP-UNet，表示为：

预测结果为，目标结果为，而 是（4）的结果。

Performance Comparison

在本文中，作者将比较CP-UNet与广泛使用的医学图像分割方法，包括卷积 Baseline 如UNet [1]、UNet++ [2]、ResUNet [3]; SETR [18], TransUNet [19], 一个基于 Transformer 的改进分割网络UNETR [20], MedT [21];以及基于注意力的医学图像方法 。为了进行公平的比较，本文下载了它们公共实现中的代码，并在所有数据集上进行再训练。

如图3所示，展示了在三个数据集上的分割可视化结果，可以看出作者的方法在节点的区域划分上表现出相对平均的水平，但对于轮廓的趋势方向，性能优异且接近真实地图。

表1报告了本文方法及所有竞争方法在两个超声数据集上的实验结果，分别是甲状腺（DDTI，TUI）和乳腺（BUSI）。在BUSI和DDTI数据集上，基于卷积的 Baseline 表现不佳，与本文中的模型相比，大约提高了10%的性能，与在ImageNet-21K数据集上预训练的TransUNet的结果相当。图4表明，当分割指标相似时，CP-UNet在捕捉轮廓的zigzag变化方面优于预训练的TransUNet，证明了作者的轮廓特定建模的有效性。

表1最后两列的实验结果显示，在有足够的数据支持的情况下，基于注意力的方法获得了更稳定的增强，并优于卷积 Baseline 。同时，本文提出的模型能够获得比基于注意力的 Baseline 更好的结果，这表明本文提出的网络除了足够的数据支持外，还能为特征提供更好的支持。与纯卷积 Baseline 相比，本文方法在BUSI上的改进比TUI显著，且优于基于注意力的 Baseline ，这表明本文提出的网络在较小的数据集上可以提取更多的实际信息以提高分割增强效果。

图4展示了使用不同对比方法获得的超声图像的分割结果。前3行显示了乳腺结节的分割结果，最后一行显示了甲状腺结节的分割结果。除了第一行外，其他图像的轮廓不清晰。尽管预训练的TransUNet的分割结果与真实值相似，但它无法捕捉到轮廓的复杂变化，使其比作者的模型更光滑。如图所示，作者的模型在轮廓划分方面表现出优越性能。

Ablation Studies

为了验证每个模块的有效性，作者在BUSI数据集上进行了消融研究。表3-C展示了本文方法中不同组成部分的比较结果。基准模型是在裁剪掉网络的所有MgCSD、GF和CPM模块后构建的。请注意，在裁剪MgCSD时，网络缺少编码器；在这个时候，作者使用每个单元的编码器来替换每个阶段的MgCSD模块。

单独添加所有三个模块可以提高实验效果相对于 Baseline 的改善。MgCSD通过约10%的模型效果改善，表明相互全局-局部特征增强的编码策略是有效的。单独的CPM模块对 Baseline 改进的影响有限，这与作者的预期一致，因为CPM模块需要MgCSD为其提供更好的质量特征，以及GF模块进行过滤，这一点在MgCSD+CPM与GF+CPM与单独每个模块的比较中得到了证实。GF+CPM比GF单独的效果稍差。作者不排除这是由于CPM中MgCSD的缺失导致的信息不足所导致的，因为GF+MgCSD+CPM比GF+MgCSD更高。总之，三个模块可以实现最佳效果，这表明GF特征融合策略对于解码三个数据源是必要的。

IV Conclusion

针对焦点模糊的病变轮廓，提出了一种基于轮廓的概率建模医学超声图像分割网络（CP-UNet），用于超声图像中的病变分割。

在CPM模块中，自适应同源重采样和全局语义特征的混合高斯分布建模优化了预测轮廓，有助于提高分割性能。

在本文中，该网络在公共和私有数据集上的各种超声图像上进行了评估，并与最先进的方法进行了比较。

在未来的工作中，作者将探索基于轮廓的注意力机制潜力，以提高结节诊断的准确性。

参考文献

[0]. CP-UNet: Contour-based Probabilistic Model for Medical Ultrasound Images Segmentation.