医图顶会 MICCAI'24 | 基于高斯混合模型的多模态组内配准框架

小白学视觉

发布于 2024-12-31 12:35:31

2040

文章被收录于专栏：深度学习和计算机视觉深度学习和计算机视觉

论文信息

题目：GMM-CoRegNet: A Multimodal Groupwise Registration Framework Based on Gaussian Mixture Model

基于高斯混合模型的多模态组内配准框架

作者：Zhenyu Li, Fan Yu, Jie Lu, Zhen Qian

论文创新点

提出了一个新的多模态组内配准框架：作者提出了GMM-CoRegNet，这是一个基于高斯混合模型（GMM）的弱监督深度学习框架，用于个体内多模态组内配准。该框架能够同时将任意数量的图像配准到参考图像，并且只需要参考图像的标签即可实现弱监督。
基于GMM的新型相似性度量：作者利用参考图像的标签作为先验信息，对解剖结构对应的GMM进行建模，并基于此推导出一种新的相似性度量方法用于组内配准。这种方法在训练过程中迭代优化GMM，提高了配准的准确性。
深度学习框架与GMM的结合：与以往的研究不同，作者构建了一个深度学习框架，该框架不仅执行图像配准任务，还结合了GMM来优化配准过程。这种结合使得框架能够有效处理多模态图像中不一致的强度-类别映射问题。

摘要

作者提出了一种新的多模态组内配准框架GMM-CoRegNet，旨在将一组多模态图像配准到一个共同的结构空间。现有的组内配准方法通常依赖于基于强度的相似性度量，但对于大量图像集合来说计算成本很高。一些方法构建了图像强度和解剖结构之间的统计关系，但如果一致的强度-类别对应假设不成立，则可能会产生误导。此外，当不同图像组中的解剖结构数量变化时，这些方法在批量组配准时可能会变得不稳定。为了解决这些问题，作者提出了GMM-CoRegNet，这是一个弱监督深度学习框架，用于个体内多模态组内配准。首先，使用参考图像的标签构建了一个先验高斯混合模型（GMM），然后基于GMM推导出一种新的相似性度量用于组内配准，并在训练过程中迭代优化GMM。值得注意的是，GMM-CoRegNet可以同时将任意数量的图像配准到参考图像，只需要参考图像的标签。作者在两个颈动脉数据集和公共的BrainWeb数据集上与最先进的组内配准方法进行了比较，证明了GMM-CoRegNet即使在不一致的强度-类别映射情况下也具有优越的配准性能。

关键词

组内配准、多模态、GMM

2. 方法

假设训练集有M个受试者，让I =Iii=1,...,N是同一受试者的N组多模态图像。组内配准的目标是将图像I配准到一个共同的空间Ω中。在本文中，将每组图像视为一个整体，作者将N-1幅图像配准到参考图像，其中Ωref = Ω。假设每个受试者中，只有参考图像附有标签图像，记为Sref。每个位置x ∈ Ω对应一个标签值k，k ∈ K，K是标签的集合。作者利用Sref作为弱监督，建模先验GMM，并提出相似性度量，帮助推导出空间变换场ϕ =ϕii=1,...,N，将所有移动图像映射到参考图像。具体来说，作者指定T1作为每组I中的参考图像，因此定义共同空间为Ω1，ϕ1等于零。详细实现在以下各节中给出。

2.1 高斯混合模型

对于组内配准，给定一组N个多模态图像的观察结果，位置x处的像素有N个强度值与之相关联。作者可以表示Ii = (vω,i)ω∈Ωi，然后重采样的强度向量可以表示为vϕx，即vϕx = [vϕ1x,1, ..., vϕNx,N]，其中vϕi x,i = Ii ◦ ϕi(x)表示在位置x ∈ Ω应用空间变换参数ϕi后的Ii的像素值。GMM定义。使用GMM来捕获图像数据的概率密度函数是一种成熟的方法[6,2]。受[14]工作的启发，并在假设GMM[12]的基础上，作者将每个解剖结构视为GMM的一个分量k，遵循多变量高斯分布。然后vϕx的概率密度函数可以表示为：

其中μk和Σk是特征空间中分量k的均值和协方差矩阵，πk = p(k)是类别k的先验概率。因此，分布p(vϕx | k)表示强度向量vϕx归类到分量k的条件先验概率分布，可以表示为：

参数计算。让Ωk ∈ Ω表示结构k所在的坐标空间，利用每个受试者的Sref，可以提取与结构k对应的强度向量集Uk j = vϕxk，其中xk ∈ Ωk，j ∈ M。由于并非每个受试者都有K个解剖结构，让K'作为对应于特定受试者的标签集，因此每个受试者可以根据k ∈ K'获得基于k的强度向量集。如图1(b)所示，为了避免固定受试者的偏差，并考虑整个训练集的人群以获得GMM作为先验信息，作者将从M个训练受试者中提取的强度向量集合合并成K个总体强度向量集。每个分量k对应的Uk = [vϕxk,1, ..., vϕxk,nk]^T表示为一个[nk, N]大小的数组，其中nk表示M个训练受试者中对应结构k的像素数。然后每个高斯分量k的参数可以计算为：

在执行组内配准之前，变形场ϕ等于零，因此可以直接使用未变形的训练数据集直接计算每个多元高斯分布的初始参数。随着ϕ的迭代更新，作者每10个训练周期使用变形的训练集图像更新方程（4）中的参数。

2.2 基于GMM的相似性度量

2.3 神经网络估计

如图1(a)所示，作者设计了一个参数化为θ的神经网络框架，用于预测一组N个多模态图像的变形场ϕ。神经网络采用VoxelMorph[3]中描述的主干架构。具体来说，多模态图像被连接作为一个单一的N通道图像输入，VoxelMorph的最后一个卷积层的输出通道被修改为获得N-1个变形场。为了保证变形场的平滑性，作者使用弯曲能量R(ϕθ)作为变形的正则化项，并将其纳入损失函数。