Nat. Med. | 医疗健康领域生成式人工智能研究的报告规范

DRUGAI

MI-CLAIM-GEN 是一份针对医疗健康领域生成式人工智能（Generative AI, GAI）研究的报告规范。它是在 2020 年发布的 MI-CLAIM（Minimum Information about Clinical Artificial Intelligence Modeling）基础上修订而成，以应对大语言模型（LLMs）、扩散模型、视觉语言模型（VLMs）等新型 GAI 技术在临床研究中的应用挑战。该规范由多个研究机构和专家共同制定，旨在提高研究的透明度、可复现性和临床可解释性。

MI-CLAIM-GEN 由六大部分组成，每部分均包含若干项新的或修改的报告要求。

研究设计

• 研究问题和队列选择标准应清晰详细，避免模糊描述（如“糖尿病患者”应改为“至少具有两个 ICD-10 代码 E11., E13. 的患者”）。
• 研究数据应具代表性，并提供数据去标识化策略（如日期偏移、文本去除）。
• 生成式 AI 的评价方法应明确，特别是涉及无结构数据的研究。

数据与资源评估

• 研究需说明训练数据的来源，包括预训练、微调和强化学习的数据集。
• 确保训练数据与最终测试数据之间的独立性，避免数据泄露（如 prompt 工程数据应与测试集分离）。
• 详细报告模型使用的外部工具（如检索增强生成 RAG）。

基线模型选择

• 需提供严谨的基线模型对比，包括其他生成式和非生成式模型。
• 若采用零样本（zero-shot）或少样本（few-shot）方法，需报告与大规模训练数据模型的性能对比。

模型评估

（4A：自动化评估）

需区分不同类型的评估指标

• 重叠准确率（overlap accuracy）：如 BLEU、ROUGE。
• 语义准确率（semantic accuracy）：如 BERT 评分。
• 临床效用（clinical utility）：对临床决策和患者结局的影响。

监测模型行为随数据分布变化的稳定性。

（4B：人工评估）

• 采用盲测（blinded evaluation）方法，并可借鉴客观结构化临床考试（OSCE）评估模型的临床表现。
• 报告评估者的资历（如临床经验），并测量不同评估者之间的一致性。

模型解释性与风险评估

（5A：可解释性）

• 采用 SHAP、LIME 等可解释性方法，同时进行误差分析和敏感性分析。
• 注意生成模型的解释可能不完全可信，需谨慎解读。

（5B：偏见、隐私与风险）

• 需检测并报告模型对不同患者群体的潜在偏见，并分析数据分布情况。
• 进行安全评估，包括对抗样本攻击等。

复现性

研究需提供不同层级的透明度

• Tier 1：代码、数据和超参数完全公开。
• Tier 2A：代码公开，使用合成数据。
• Tier 2B：仅代码公开。
• Tier 3：代码和数据均不公开。

应包含临床模型卡（Clinical Model Card），总结模型能力、数据来源、潜在偏见和安全风险。

MI-CLAIM-GEN 的意义

提升研究透明度：帮助研究人员提供可复现的研究细节。

改进临床适用性：增强模型的可解释性和可信度，促进 AI 在医疗健康领域的安全应用。

促进公平性和隐私保护：规范 AI 研究中的偏见检测和隐私保护措施。

参考资料

Miao, B.Y., Chen, I.Y., Williams, C.Y.K. et al. The MI-CLAIM-GEN checklist for generative artificial intelligence in health. Nat Med (2025).

https://doi.org/10.1038/s41591-024-03470-0