Nat. Biomed. Eng. | 融合视觉与语言的胎儿超声理解模型

DrugAI

发布于 2026-01-27 14:26:15

810

DRUGONE

胎儿超声检查是产前诊断的核心手段，但自由手持超声扫描高度依赖操作者经验，对新手学习曲线陡峭。研究人员提出 Sonomate，一种面向胎儿超声理解的视觉锚定语言模型，旨在在扫描过程中为超声医生提供实时智能辅助。该模型通过对超声视频特征与同步语音转写文本特征进行对齐建模，实现对胎儿超声视频内容的语义理解。研究人员结合粗粒度的视频–文本对齐与细粒度的图像–句子对齐，并引入解剖结构感知机制与上下文标签校正，以应对真实临床数据中语言异质性和时序不同步等挑战。实验结果表明，Sonomate 能在无需额外人工标注训练的情况下完成胎儿解剖结构识别，并在图像级与视频级视觉问答任务中取得稳定性能。该研究为将多模态大模型引入超声检查培训与临床辅助决策奠定了基础。

超声成像具有无辐射、无创、便携和低成本等优势，是孕期筛查中最常用的影像技术。然而，高质量超声检查不仅依赖于图像判读能力，还高度依赖复杂的实时扫描技巧，这一技能通常需要多年训练才能掌握。全球范围内经验丰富的超声医生短缺，使得提升检查效率和培训质量成为迫切需求。

近年来，视觉–语言预训练模型在自然图像领域取得显著成功，但直接迁移到医学影像面临明显挑战。胎儿超声图像与自然图像在视觉特征和语义表达上差异巨大，且超声医生在扫描过程中产生的语言描述往往与图像内容存在时序错位或语义不相关。因此，构建贴合超声场景、理解视频级动态过程、并兼顾专业语言习惯的多模态模型，是实现智能超声辅助的关键。

方法

研究人员基于真实临床环境下采集的胎儿超声视频–语音对构建多模态训练数据集，并将语音自动转写为带时间戳的文本。模型首先采用粗粒度视频–文本对齐，拉近匹配视频与文本特征、拉远不匹配样本；随后引入细粒度图像–句子对齐，在帧级别将视觉内容与对应语句关联。为缓解临床语言中大量与视觉无关或提前描述操作的问题，研究人员提出解剖结构感知对齐和上下文标签校正策略，逐步修正跨模态对齐噪声，从而训练出稳健的视觉锚定语言表示。

结果

数据集与建模挑战

研究人员构建了包含完整胎儿超声扫描流程的视频–语音数据集，覆盖不同孕期、不同操作者和多种解剖检查场景。分析显示，仅部分语句与当前画面直接相关，且语言与视觉内容常存在明显时间错位。