ACR DSI——建立医疗AI验证的通用框架
系出名门
ACR DSI(The American College of Radiology Data Science Institute™)是北美放射学会下属的数据科学研究院。依托北美放射学会的强大资源,致力于组织和促进放射专家、政府官员、产业领袖、患者和投资者之间的协同合作,来促进和推动人工智能在放射学领域的应用和落地。
AI闭环
如果说EnvoyAI架设的是一座桥梁,连接了AI开发者和临床医生。ACR DSI则构造了一个首尾相接的闭环,希望打通和规范化整个AI的迭代完善过程。ACR DSI给出了下面的示意图,来展示他们的理念。
可以看到,整个闭环由“需求、创意、算法、临床产品”四个关键节点构成。ACR DSI所作的核心工作则是明确了怎么去衔接这4个关键点,衔接的要素依次是:用例、数据集、验证方法。集成与监控。
首先,从图中最左侧的需求开始,采用了“AI用例”的方式来建立起从需求到创意的路径,基于用例将临床需求和研发人员的创意结合起来。然后,在从创意向算法转化的途径中,则重点关注AI训练和测试数据集的规范化建立,尤其是数据整合和标注。其次,从算法向临床产品的转化途径中,则重点关注AI模型的规范化,尤其是标准化的AI模型验证方法。最后,当临床产品真正被医生临床使用时,则需要建立起一套机制来流程整合和效果监控机制。通过流程整合来促进临床应用,通过效果监控来给医生、开发人员和厂商提供及时反馈,从而自然推动新一轮迭代过程。
以AI用例为基石的三方共赢
基于上述的闭环工作流程,ACR DSI的核心目标是将放射医生、业界厂商和开发者三类资源进行整合,实现三方共赢。
在ACR DSI的“邀请参与(Get Involved)”(https://www.acrdsi.org/Get-Involved)页面中,描述了三类用户如何参与到AI研发闭环中,发挥自己的作用。
首先,放射医生是整个流程的主导者(毫不意外,对吧?)。而前面提到的AI用例正是放射医生发挥主导作用的关键武器。此外,放射医生还可以通过提供标注数据和测试AI模型来做出贡献。
对于业界厂商,ACR DSI则仍然以AI用例为核心,为厂商提供围绕这些用例的最新AI研发进展。不仅仅是进展,ACR DSI还跟踪提供AI算法在临床应用过程中的临床有效性数据,包括纵向算法性能提升过程数据。这些数据对于厂商选择AI研发成果,出资购买或赞助孵化,具有极大价值。
对于AI开发者,ACR DSI提供的核心服务仍然是AI用例。ACR DSI建立了由资深科学家领衔,包括放射医生和数据科学专家的委员会,负责AI用例的制定和发布,同时还要对AI用例进行基于临床价值的优先级评定。每一个AI用例都包括了临床价值分析、数据构成需求、数据标注要求,以及临床流程分析。这些要素对于开发者具有极强的指导意义。
搬运工与提问者
至此,分别介绍了EnvoyAI和ACR DSI两个代表。前者为商业化公司,后者为非盈利研究机构。定位和背景的差异决定了二者在平台建设策略上的差别。
EnvoyAI采取的是筑巢引凤策略,建起平台,用快速分发和利益分享作为亮点,吸引尽可能多的AI到平台上来,并且尽可能快的将AI传递分发给临床,最终实现自身的平台发展状态和商业利益。
ACR DSI的核心战略则是用AI用例来驱动整个AI研发应用流程。通过用例,ACR DSI将临床最迫切和最有价值的问题提出来,同时明确每个问题评估方法和标准,然后面向机构和个人研发者征集问题的解答,并跟踪和评价不同解答在临床上的长期应用效果。
EnvoyAI的定位类似于搬运工,ACR DSI的定位则类似于提问者。二者都不去直接研发AI,但却能够以不同的方式和切入点,深切影响和促进整个医学影像AI的发展和走向。
领取专属 10元无门槛券
私享最新 技术干货