推理提速一倍！SegDT：轻量化扩散 Transformer，医学图像分割的技术跨越

【导读】

医学图像分割是疾病诊断和治疗规划的关键一环，尤其是在皮肤癌的早期检测中，分割的准确性直接决定诊断质量。近日，研究团队提出了一种全新模型SegDT，它结合了扩散模型（Diffusion Models）与Transformer架构，不仅在分割精度上达到了新的高度，还能在低成本 GPU 上实现快速推理，为医学影像 AI 工具的落地提供了新方向。>>更多资讯可加入CV技术群获取了解哦

医学图像分割的困境

长期以来，医学图像分割依赖于 卷积神经网络（CNN），如 U-Net 和 DeepLabV3+，它们能捕捉局部与全局特征，在皮肤病变分析中表现突出。然而，CNN 在处理长距离依赖和复杂不规则边界时常显得力不从心。

Transformer 的出现带来了突破，它擅长建模全局上下文关系，TransUNet 和 Swin-UNet 已经展现了超越 CNN 的潜力。但问题在于，Transformer的计算开销过大，限制了其在临床场景的应用。

与此同时，扩散模型以逐步去噪的方式在图像生成和医学影像分割中崭露头角，精度高但推理速度慢，难以满足临床需求。

在 Coovally 上，用户可以直观对比这些模型在不同任务中的优缺点，并通过自动化实验记录进行性能评估。

无代码训练.GIF

SegDT 的提出

传统的 CNN（如U-Net、DeepLabV3+）在医学图像分割中表现不俗，但难以处理长距离依赖和复杂不规则的病灶边界。Transformer 模型（如 TransUNet、Swin-UNet）改善了这一点，却带来了高昂的计算成本。而扩散模型在精度上非常强大，但推理步骤多、速度慢，也难以直接应用到临床场景。

SegDT（Segmentation Diffusion Transformer） 的提出正是为了解决这些矛盾。研究团队设计了一个 超小型 DiT-XS 架构，结合预训练 VAE 编码器，在保持精度的同时大幅减少计算量。并且引入 Rectified Flow 技术，让模型能在更少的采样步骤下完成高质量分割。

换句话说，SegDT 不仅要“分得准”，还要“分得快”，并且要能在低成本 GPU 上运行，满足医疗实际应用的需求。

1.png

技术创新点

SegDT 的核心创新可以总结为三点：

轻量化的 Transformer 扩散架构

不同于大多数基于 U-Net 的扩散分割模型，SegDT 使用了 DiT（Diffusion Transformer），通过自注意力机制有效建模全局上下文，同时保持模型规模紧凑。

Rectified Flow 加速推理

传统扩散模型往往需要几十步甚至上百步采样才能生成可靠结果。SegDT 通过学习“速度场”来替代噪声预测，在仅 15 步采样 的情况下，就能达到传统模型 35 步的分割精度，推理速度提升接近一倍。

screenshot_2025-09-05_15-31-02.png

高效性与实用性兼顾

SegDT 参数量仅 9.95M，计算量 3.68 GFLOPs，但在多个benchmark上超越了参数高达39M的DU-Net+。这意味着 SegDT 能兼顾 精度、速度与硬件适配性，真正符合临床落地的要求。

screenshot_2025-09-05_15-31-55.png

实验结果：三大数据集验证

研究团队在 ISIC 2016、2017、2018 三个国际公认的皮肤病变分割挑战数据集上对 SegDT 进行了全面评估。实验结果显示，该模型不仅在 Dice 系数、IoU 等核心指标上达到了或刷新了 SOTA，还在特异性（Specificity） 方面展现了强大的临床优势。

ISIC 2016 数据集

• Dice：94.76%（最高）
• IoU：91.40%（最高）
• ACC：97.08%
• SP：99.44%（远超其他方法，说明 SegDT 能更准确地区分病灶与健康组织）

ISIC 2017 数据集

• Dice：91.70%（最佳表现）
• ACC：95.49%
• SP：98.74%（显著高于 DU-Net+ 等对比方法，避免了过度检测）

ISIC 2018 数据集

• Dice：94.51%（最高）
• IoU：90.43%（最高）
• SP：97.43%（同样保持优势）

screenshot_2025-09-05_15-33-22.png

screenshot_2025-09-05_15-33-53.png

值得注意的是，SegDT 在效率上也有明显优势：

传统扩散模型（如 IDDPM）需要 35 步采样才能获得稳定结果，而 SegDT 借助 Rectified Flow 技术，仅需 15 步就能达到同等精度，推理速度几乎提升了一倍。这一点对于临床实时分析至关重要。

这些实验在 Coovally 上也能快速复现，科研人员可直接导入公开数据集运行实验，得到可复现的结果。Coovally平台还可以直接查看“实验日志”。提供直观的可视化训练界面，清晰设置参数，监控训练过程（Loss, mAP等指标实时可视化）。

实验日志.GIF

并行实验，效率倍增！ 一键发起多个训练任务并行运行，结果一目了然，快速锁定候选者。支持分布式训练，充分利用硬件资源，大幅缩短训练时间。

从实验到落地，全程高速零代码

无论是学术研究还是工业级应用，Coovally均提供云端一体化服务：

• 免环境配置：直接调用预置框架（PyTorch、TensorFlow等）；
• 免复杂参数调整：内置自动化训练流程，小白也能轻松上手；
• 高性能算力支持：分布式训练加速，快速产出可用模型；
• 无缝部署：训练完成的模型可直接导出，或通过API接入业务系统。

！！点击下方链接，立即体验Coovally！！

平台链接：https://www.coovally.com

无论你是算法新手还是资深工程师，Coovally以极简操作与强大生态，助你跳过技术鸿沟，专注创新与落地。访问官网，开启你的零代码AI开发之旅！

总结

SegDT 代表了医学图像分割的一次重要突破：

它以 轻量化设计，解决了 CNN、Transformer 和扩散模型的性能与效率矛盾；

它通过 Rectified Flow，实现了更快的推理速度；

它在 ISIC 三大数据集 上取得了 SOTA 级表现，尤其在特异性指标上展现了临床优势。

未来，研究团队还计划将 SegDT 扩展到更多医学图像分割任务，甚至融合患者元数据，提升诊断价值。毫无疑问，SegDT 的出现让 AI 在临床诊断中的应用又向前迈进了一步。