FS-MedSAM2 探索 SAM2 在少样本图像分割中的潜力，无需微调 ！

Segment Anything Model 2 (SAM2) 近年来在自然图像和视频的零样本提示分割方面表现出了卓越的性能。然而，当应用于医学图像时，它面临着重大的挑战。 自发布以来，许多尝试已经试图将 SAM2 的分割能力适应到医学图像领域。这些努力通常需要使用大量的标注数据来微调模型的权重。 在本文中，作者通过充分利用 SAM2 训练的记忆注意力模块及其处理 Mask 提示的能力，从不同的角度探索 SAM2。 作者提出 FS-MedSAM2，这是一个简单而有效的工作框架，使得 SAM2 可以在少样本环境中实现卓越的医学图像分割，而无需进行微调。作者的框架在两个公开的医学图像数据集上超过了当前最先进的状态。 代码：https://github.com/DeepMed-Lab-ECNU/FS_MedSAM2。

1 Introduction

段 anything 模型2（SAM2） [13] 在自然图像和视频中展示了令人印象深刻的零样本提示分割能力。使用一个简单的点或矩形作为提示，SAM2可以准确地分割图像中的前景目标，并在视频中跟踪目标。然而，与它的前驱者一样，SAM2在医学图像方面存在局限性，尤其是在计算机断层扫描（CT）和磁共振成像（MRI）扫描中。这一限制源于其训练数据中缺乏医学图像，导致模型无法精确界定医学图像中器官、肿瘤和其他结构的边界，通常导致过度分割。

近期的一些研究试图将 SAM2 应用于医学图像领域。这些方法类似于对 SAM 的微调，通常涉及微调 SAM2 的一些组件，例如 Mask 解码器，使用一定量的标注数据。然而，这些方法面临两个主要局限性：

首先，它们需要大量的标注数据和相当多的训练时间；

其次，即便经过训练，它们仍需要交互式提示才能对目标图像进行分割。

此外，仅从 SAM 中获取提示，这些方法显然忽视了与 SAM 相比，SAM2 在网络架构方面已经做出了有意义改进，产生了更具能力且更加多才多艺的后继者。尽管 SAM2 在直接分割医学图像方面存在困境，但它可以通过配备记忆注意力模块，从医学图像的目标目标的先前记忆中进行处理。这激发作者以不同的视角来探讨该问题，即是否可以利用 SAM2 基于相似图像及其提示在医学图像中的分割能力，而无需微调？

少样本医学图像分割（FSMIS）旨在使用仅有的几个支持图像及其关联分割 Mask ，在 Query 图像中分割对应的意义区域。大多数 FSMIS 方法将卷积体积的连续切片视为独立的实体，并使用支持图像对每个切片单独进行分割，这忽视了卷积体积中连续切片之间的共享语义信息。

得益于 SAM2，因为它具有两个固有的优势：

（1）具有经过良好训练的记忆注意力模块，关注目标目标的先前记忆；

（2）能够处理与支持输入相匹配的 Mask 提示，对应 SAM2 的少样本输入，将 SAM2 应用于 FSMIS 是合理的，但尚未受到关注。请注意，所述的第二大优势仅来自 Mask 提示，因为点或矩形提示无法给出像自然图像那样精确的边界。因此，作者提出一个在 FSMIS 中利用 SAM2 的视频分割能力的框架，利用 Query 体积相邻切片中的语义信息来提高分割精度。

在这篇文章中，作者提出 FS-MedSAM2：一个用于医学图像分割的 SAM2 基于的少样本框架，无需进行微调。与在大规模标注数据集上的微调相比，少样本场景对于医学分割任务更具实际意义，例如考虑某些罕见疾病或使用未见过的类别。对于给定的 2D 支持图像及其相应的分割 Mask ，作者的框架可以在不需要额外提示的情况下 segmentation Query 图像。

此外，通过将 Query 体积中的相邻切片中的语义信息集成到 segmentation 中，作者可以进一步提高分割性能。作者在两个公开可用的数据集 CHAOS-MRI [6] 和 Synapse-CT [8] 上验证了 FS-MedSAM2，并在两个数据集上实现了最先进的性能（SOTA）。

2 Related Work

Segment Anything Model 2

与SAM相比，SAM2专注于可提示图像分割，同时引入了可提示视频分割的额外能力。SAM2中的图像分割责任组件与SAM相同：图像编码器、提示编码器和 Mask 解码器。在SAM2中，图像编码器和提示编码器独立地编码输入图像和提示信息，然后将它们融合并传递给 Mask 解码器以生成分割 Mask 。

对于视频分割，SAM2还集成了 additional 组件：记忆编码器、记忆银行和记忆注意力。工作流程可以概括为：

1. 添加提示：首先，提示（称为条件帧）应用于视频中的帧（称为非条件帧）。这些帧独立地经过图像分割过程，结果是相应的分割 Mask 。
2. 填充记忆银行：记忆编码器编码图像特征及其相关 Mask ，并将它们存储在记忆银行中。
3. 传播：对于没有提示（非条件帧），图像特征由图像编码器提取，并与存储在记忆银行中的信息进行记忆注意处理。在生成某个帧的 Mask 后，步骤 2 重复。

Adapt SAM2 to Medical Imaging

类似于SAM，SAM2在使用点提示和箱形提示的医学图像上表现不佳。SAM2发布后，一些基于SAM在医学图像领域的成功适应性的研究，旨在将SAM2应用于医学图像领域。例如，MedicalSAM2 [19]和MedSAM [10]微调口罩解码器，而SAM2-Adapter [1]将轻量级 Adapter 引入图像编码器，并在权重更新期间与口罩解码器一起进行微调。

在SAM2架构中，图像编码器比口罩解码器复杂得多。这些方法主要关注微调口罩解码器，成功表明SAM2的图像编码器已经能够有效地编码医学图像中存在的信息。相比之下，作者的方法旨在以更具有挑战性的设置将SAM2适应医学图像：无需进行权重微调的少样本学习。

Few-Shot Medical Image Segmentation

少样本医学图像分割（FSMIS）是一个新兴领域，它针对有限标注数据的挑战，这在医学领域中很常见，由于标注成本高、复杂度高以及对数据共享的法律法规限制。FSMIS技术可以广泛地分为两类：典型的网络基础模型 和二分支交互基础模型。这些方法通过从支持图像及其 Mask 中提取信息，训练模型对 Query 图像进行分割，并在训练过程中未见过的类别上验证模型。

然而，这些方法通常将连续的切片视为独立的实体，以少样本方式分别对每个切片进行分割。作者认为，在连续的一系列切片之间，早期切片的分割结果可以被用来辅助后续切片的分割。为了探索这一点，作者设计了涉及支持卷和 Query 卷的实验，其中 Query 卷中的切片参考同一卷中先前分割的切片的分割结果。这种方法进一步提高了分割性能。

3 Method

作者框架的一个关键方面是使用 Mask 提示。以前的工作主要集中在使用点和 Box 作为提示，往往忽视了 Mask 提示的潜在机会。

虽然相对于点和 Box ， Mask 提示更具成本效益，并且使用可能会减少分割的需要，但作者已经发现在SAM2中它们的效果非常好。

根据作者的观察，提供一个准确的 Mask 提示允许SAM2清晰地理解并界定图像内的预期边界。这确保了内存库中编码的信息更准确，为成功识别 Query 图像中的相应物体边界提供了坚实的基础。

4 Experiments

Datasets

作者在两个广泛使用的公共数据集上验证了FS-MedSAM2。

（a）Synapse-CT[9]来自MICCAI 2015多部位腹部标签挑战，包含了30个3D腹部CT扫描。根据GMRD[2]，作者在左肾、右肾、肝和脾脏上评估FS-MedSAM2。

（b）CHAOS-MRI[6]是从ISBI 2019年联合健康腹部器官分割挑战获取的腹部MRI数据集，包含了20个3D T2-SPIR MRI扫描。根据GMRD[2]，作者在左肾、右肾、肝和脾脏上评估FS-MedSAM2。

Implementation Details

4.2.1 SAM2 Model

除非特别指定，否则默认使用SAM2 Hiera Tiny模型进行实验。在 ablation study（分解实验）中报告了不同大小的 SAM2 模型的比较实验。

4.2.2 Evaluation Metric

遵循GMRD，作者在FS-MedSAM2领域使用了广泛采用的Sorensen-Dice系数[11]来评估，该系数定义为：

Evaluation Details

4.3.1 Experimental Settings

4.3.2 One-Shot One-Query (1S1q)

在这种情况下，每个 Query 图像仅使用支持图像和存放在记忆库中的 Mask 信息进行分割，而不利用与辅助信息具有相似语义的其他相邻切片的结果。为解决此问题，作者设计了一种替代的验证方法，该方法结合了相邻切片的语义信息。

4.3.3 Strictly One-Shot Few-Query (S1SFQ)

Comparison with SOTA Methods

为了展示FS-MedSAM2的有效性和优越性，作者选择了Synapse-CT和CHAOS-MRI上的三个最具竞争力的结果进行比较[2]。对于Synapse-CT，与之对比的方法有AAS-DCL [17]，RPT [20]和GMRD。

对于CHAOS-MRI，与之对比的方法有Q-Net [15]，RPT [20]和GMRD。结果如表1所示。

如表所示，FS-MedSAM2在两个数据集上均取得了最佳性能，并有显著的改进。值得注意的是，作者的框架在脾脏分割任务上取得了显著的改进，这是一个此前方法遇到困难的任务。

在Synapse-CT数据集上，作者观察到Dice分数提高了14.32% (93.95% vs. 79.13%)，而在CHAOS-MRI数据集上，FS-MedSAM2实现了13.82%的提高（90.19% vs. 76.37%）。

Ablation Study

作者对支持内存的大小和支持推理顺序（少 Query ）进行了消融研究，以评估它们对性能的影响。此外，作者在每个设置下研究了不同大小的SAM2模型（微型，小型，基础和大型）的性能。

4.2.2 Size of Support Memory

为了更直观地观察支持记忆大小对分割性能的影响，作者将3S1Q和1S1Q设置的结果汇总到表2中。

如表所示，当作者独立处理每个 Query 图像时，支持记忆大小的影响并不显著。这一观点在结果中也得到了证实，即从1到3增加支持记忆大小并未呈现出性能的一致性改善，有时甚至可能导致性能下降。

例如，在CHAOS-MRI中，SAM2 Tiny在3S1Q设置相比1S1Q设置的均方性能降低了0.77%。

同时，随着模型大小增加，分割性能的一致性改进趋势没有明显。因此，作者推荐在少样本一次 Query 设置中使用SAM2 Tiny模型，因为它在提供最小的计算负载和最快的处理速度的同时仍然提供了满意的性能。

4.2.2 Inference Order of Few-Query

S1SFQ中，为了避免一开始就处理更复杂的切片，作者从 Query 体积的中间切片开始进行推理。在此小节中，作者进行消融实验，其中推理开始于顶切片，该切片规定为：

如表3和表4所示，当从顶切片开始推理 Query 体积时，模型的分割性能显著下降。如方法部分所述，从 Query 图像集的顶切片（通常具有最短的前体）开始推理时，准确分割前体的可能性较小。

这种方法可能导致 Query 内存中包含不准确的全 Mask 信息，严重影响后续切片的分割。同样，在3S1Q设置中也观察到相同问题。

然而，在S1SFQ设置中，模型大小的变化对性能有显著影响：随着模型大小的增加，分割性能得到改善。

这可能表明更大的模型对 Query 内存的依赖性较小，因为它们可以更有效地自适应地从支持内存和 Query 内存中选择有用的信息用于分割。相比之下，较小模型的依赖性更大，使其更容易受到 Query 内存中的不准确性的影响。

Visualization

在图3和图4中，作者分别展示了FS-MedSAM2在1S1Q设置下在Synapse-CT和CHAOS-MRI数据集上的分割视觉效果。对于每个类别，作者展示了支持图像集（支持）中的每个图像，以及相应的示例 Query 预测和真实值。

这些图像揭示了令人兴奋的现象：即使支持图像和 Query 图像之间的前景（例如，大小、位置和形状）有显著差异，作者的框架仍然能够有效地分割物体前景。这表明SAM2架构的目标跟踪能力不仅限于帧间变化很小的视频中。它在具有大量变化的图像对上也表现良好。

5 Conclusion

在本文中，作者提出了FS-MedSAM2，一种将SAM2应用于医学图像的新框架。

该框架利用遮挡提示进行少样本分割，无需任何参数微调，并利用SAM2的视频分割能力在 Query Voxel 内的邻近切片利用语义信息，从而实现增强分割性能。

作者的框架在两个公开的医学数据集上显示出明显优势，证明了该方法的有效性。

在未来工作中，作者将探索SAM2在医学图像方面的更深入能力，并研究更多实际、实际的应用场景。