在生物医学研究领域,组织病理学图像和组学数据的整合一直是重大挑战。传统计算方法往往将这两类数据分开分析,导致宝贵的空间分子信息难以被充分利用。随着空间转录组学和单细胞RNA测序技术的发展,研究人员能够获得组织切片中基因表达的空间分布信息,但如何将这些分子数据与传统的染色图像关联起来,仍缺乏系统性的解决方案。目前的计算模型要么专注于组学数据,要么专注于图像分析,缺乏将两者整合的统一多模态AI模型。
针对这一关键问题,来自休斯顿卫理公会研究所等机构的研究团队开发了名为OmiCLIP的视觉-组学基础模型,并构建了Loki分析平台。这项研究于2025年5月29日发表在《Nature Methods》上,通过创新的跨模态学习方法,成功搭建了连接组织形态学与分子特征的桥梁,为多模态组织分析提供了全新工具。
【文章核心方法】
一、OmiCLIP模型框架
二、Loki多模态平台
三、验证结果与性能优势
(1)抗图像干扰:添加高斯噪声后,图像-转录组相似度仅下降8%(PLIP下降23%)。
(2)抗测序深度差异:在低测序深度(615 UMI)下仍保持高对齐精度(相似度>0.7)。
Loki平台提供多种类型功能,其组织对齐功能与现有工具如PASTE、GPSA比较,PCC提升40%(肠组织数据达0.83),解决空间扭曲问题(图3)。
在组织注释功能方面,Loki可结合基因标记与语言描述,F1分数达0.96(CRC7K数据集),与现有方法如OpenAI CLIP, PLIP相比,召回率提升至93%。
(1)跨模态检索功能:Recall@5%达0.186,比OpenAI CLIP高3.2倍(图4)
(2)细胞分解功能:在结直肠癌全切片中准确预测6种细胞空间分布(图5)。
四、资源可用性
代码:https://github.com/GuangyuWangLab2021/Loki
模型:https://huggingface.co/WangGuangyulab/Loki
数据:ST-bank开放访问,部分临床数据需遵循TCGA/GTEx使用协议。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。