Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >【ROC曲线专栏】如何看懂ROC曲线?

【ROC曲线专栏】如何看懂ROC曲线?

作者头像
Mark Chen
发布于 2020-11-02 03:07:54
发布于 2020-11-02 03:07:54
2.9K0
举报
文章被收录于专栏:聊点学术聊点学术

上一期简单聊了聊ROC曲线的绘制方法。可以很明显看出来,有了GraphPad的帮助,绘图是非常简单的。

回顾:【ROC曲线专栏】如何快速绘制ROC曲线?

ROC曲线的难点并不在于绘制,而是数据整理和曲线解读。尤其是解读ROC曲线后,如何用于指导现实。这才是最难的。

上期提到,就临床研究而言,ROC曲线非常适用于评价不同诊断标准对相同目标的诊断敏感度和准确性。

现在,开发新型诊断标志物挺火。我就拿这个作为一个简单的例子,对ROC曲线进行解读。当然了,这个例子也可以是诊疗方案、手术方法等等。


例如:针对某疾病,目前临床常用诊断标志物为A,你的团队研究出标志物B。现在想要比较A和B对该疾病的诊断敏感性和准确性是否存在差异。针对这个目的,相关ROC可能存在以下几种情况。

情况一:最惨结果

从上图可以看出,曲线B整体位于曲线A之下,且曲线B更挺近X轴。Y轴代表的是敏感性,而X轴则代表的是假阳性率。

从实际意义上解读,即标志物B对诊断疾病诊断敏感性要低于标志物A,最要命的是标志物B用于诊断后假阳性率高于标志物A。

好家伙,用标志物B诊断疾病,没病也给你弄出病,堪比百度看病。

遇到这种曲线,趁早放弃此研究,回头是岸。

情况二:最爽结果

这个结果就很爽了,完美反转,原理同上,前提是数据别造假。

你要知道,这么好的结果,会有很多人盯着。一旦正式发表,很多人会扛着显微镜来解读,个个都是列文虎克。所以,出现这种曲线时,首先应该狂喜,然后冷静下来,回头仔细捋一捋数据,检查是否有误。

建议多人同时进行数据检查。因为发现自己的错误实在是太难了。

像我这样优秀的人!

情况三:难舍难分

上图这种曲线才是常态化的结果。

可以看到,两条曲线存在交叉点。也就是说在这个交叉点之前,标志物A的诊断敏感性和准确性高于标志物B;同理,在此交叉点之后,标志物A的敏感性和准确性又低于标志物B。

更进一步说,这种结果下,到底哪个更优,需要考虑2种情况了。

第一,这种差异是否与你设定的诊断阈值有关?因为这个阈值直接关系到敏感度和准确度数值,当然也就决定着ROC曲线的走势了。建议在适当范围内调整一下阈值,可能ROC曲线会更加明确。

第二,这种交叉式曲线需要结合临床具体情况进行分析。例如,标志物A可能更适合于早期肺癌诊断与筛查,标志物B可能中期肺癌诊断。当然了,如果新标志物B的检测费用、设备、人力成本等高于标志物A。尽管A与B存在这种交叉关系,临床上可能还是会选择采用更便宜实用的标志物A。

扯得有点远,但是也侧面反映出一个标志物为什么这么难以开发和应用于临床。尽管每年有那么多相关论文发表。

Ending

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-10-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 聊点学术 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
细胞焦亡基因构建预后模型,发表7分+SCI!
今天小编为大家带来一篇细胞焦亡构建预后模型+实验验证发表高分文章的例子。文章发表在Journal of Translational Medicine,题目为Systemanalysis based on the pyroptosis-related genes identifies GSDMC as a novel therapy target for pancreatic adenocarcinoma。
作图丫
2022/12/14
4880
细胞焦亡基因构建预后模型,发表7分+SCI!
重磅综述:精神分裂症的神经影像生物标志物
摘要 精神分裂症是一种复杂的神经精神综合征,具有不同的遗传、神经生物学和表型特征。目前,没有客观的生物学指标——即生物标志物——用于指导诊断和治疗决策。神经影像学对精神分裂症中的生物标志物的探索提供了良好的方向,因为它可以捕捉分子和细胞疾病靶点或脑回路中的表型变异。这些基于生物标志物的机制或许能直接表征疾病过程的病理生理学基础,因此可以作为真正的中间或代替物。有效的生物标志物可以验证新的治疗目标或途径、预测反应、帮助患者选择治疗、确定治疗方案、并提供个性化治疗。本文讨论了一系列机制上合理的神经影像学生物标志物候选物,包括多巴胺过度活跃、N-甲基-D-天冬氨酸受体功能减弱、海马过度活跃、免疫调节障碍、连接障碍及皮质灰质体积减少。本文主要研究精神分裂症的风险、诊断、目标参与和治疗反应的假定神经影像生物标志物。最后还突出强调了为满足需求的领域,并讨论了推进生物标志物探索的策略。
悦影科技
2021/08/16
7620
重磅综述:精神分裂症的神经影像生物标志物
【统计】 ROC曲线(1) - 模型评估首选方案
ROC曲线,也称“受试者工作特征曲线”,主要是用于X对Y的预测准确率情况。最初ROC曲线是运用在军事上,现在更多应用在医学领域,判断某种因素对于某种疾病的诊断是否有诊断价值。
用户6317549
2019/12/17
2.9K0
【统计】 ROC曲线(1) - 模型评估首选方案
都2022年了,m6A+泛癌还能发高分吗
外周血中m6A显著失调在几种癌症类型中具有极高的诊断价值。然而,尚未确定用于准确筛查多种癌症类型的m6A-miRNA生物标志物。
作图丫
2022/03/29
3370
都2022年了,m6A+泛癌还能发高分吗
【ROC曲线专栏】如何快速绘制ROC曲线?
“针对某种疾病,现有A、B两种公认的诊断方法,你的团队研究出新诊断方法C。自然而然,肯定需要比较A、B、C三种方法,判断到底哪一种对该疾病的诊断更准确?”
Mark Chen
2020/11/02
3.6K0
【ROC曲线专栏】如何快速绘制ROC曲线?
Nature子刊:用于阿尔茨海默病痴呆评估的多模态深度学习模型
在全球范围内,每年有近1000万新发痴呆病例,其中阿尔茨海默病(AD)最为常见。需要新的措施来改善对各种病因导致认知障碍的个体的诊断。作者报告了一个深度学习框架,该框架以连续方式完成多个诊断步骤,以识别具有正常认知(NC)、轻度认知障碍(MCI)、AD和非AD痴呆(nADD)的人。作者展示了一系列能够接受常规收集的临床信息的灵活组合的模型,包括人口统计、病史、神经心理学测试、神经影像学和功能评估。然后,作者表明这些框架与执业神经科医生和神经放射科医生的诊断准确性相比具有优势。最后,作者在计算机视觉中应用可解释性方法,以表明模型检测到的疾病特异性模式可以跟踪整个大脑的退行性变化的不同模式,并与尸检时神经病理学病变的存在密切相关。作者的工作证明了使用既定的医学诊断标准验证计算预测的方法。
悦影科技
2022/11/07
2.4K0
Nature Communications | 血液无创检测可以比常规诊断提前四年发现癌症
北京时间7月21日晚,《自然·通讯》(Nature Communication)发表了由我院陈兴栋青年研究员等领衔的科研团队所作的最新研究成果:“血液无创检测可以比常规诊断提前四年发现癌症(Non-invasive early detection of cancer four years before conventional diagnosis using a blood test)”。 科研人员对复旦大学牵头建设的泰州队列的部分血液样本进行了长期、系统的癌症早期检测研究。研究发现:对于结直肠癌、食管癌、肝癌、肺癌和胃癌等5种常见恶性肿瘤,在达到现有临床确诊金标准之前,甚至在病人出现自觉症状前,早期的癌症信号——微量肿瘤甲基化就存在于血液循环之中,并可以被无创检测。利用由复旦校友企业鹍远基因原创研发的ctDNA甲基化多癌筛查技术PanSeer方法,陈兴栋团队在泰州队列的血样中实现了比临床诊断提前4年发现血液中的微量肿瘤甲基化信号。
科研菌
2020/07/28
5740
NC:预测阿尔茨海默病的个体进展轨迹
对阿尔茨海默病(AD)进展的预期对于评估二级预防措施是至关重要的,因其被认为可以改变疾病的发展轨迹。然而,很难预测AD的自然进展,特别是不同的功能在不同的年龄下降,不同患者的发生率不同。我们在这里评估了AD进程映射,这是一个统计模型,根据当前疾病早期阶段的医学和放射学数据,预测患者的神经心理评估和成像生物标志物的进展。我们对96000多例患者进行了该方法的测试,其中包括来自四大洲的4600多名患者。我们测量了方法准确性通过选择了在一个假设的试验中显示临床端点进展的被试。我们发现,使用预测进展者丰富人群可以使所需的样本量减少38%至50%,这取决于试验时间、结果和目标疾病阶段,从无症状的AD风险个体到早期和轻度AD被试。我们表明,该方法没有引入关于性别或地理位置的偏差,并且对缺失的数据是稳健的。它在疾病的早期阶段表现最好,因此非常适合用于预防试验。
悦影科技
2023/06/25
8120
Nat. Commun. |一种使用多模态生物数据预测未来病理性tau蛋白积累的可解释的机器学习方法
近日,剑桥大学-加州大学伯克利分校-伯明翰大学联合团队在《Nature Communications》(影响因子IF=14.919)上发表了题为“A robust and interpretable machine learning approach using multimodal biological data to predict future pathological tau accumulation”的论文[1]。该论文提出了一种基于广义矩阵学习向量量化的轨迹建模方法通过结合多模态生物数据来预测病理性tau蛋白积累,根据tau蛋白积累对阿尔兹海默病(AD)患者进行分层,为针对AD早期阶段的临床试验设计提出了一种具有转化影响的精细分层和预测的方法。本文通信作者是剑桥大学的Zoe Kourtzi教授,第一作者是Zoe Kourtzi教授研究组的博士后Joseph Giorgio博士。
DrugAI
2022/04/19
6420
Nat. Commun. |一种使用多模态生物数据预测未来病理性tau蛋白积累的可解释的机器学习方法
NeuroImage:磁共振3D梯度回波磁化转移序列同时对铁和神经黑色素进行成像
早期帕金森病(PD)的诊断仍然是临床上的一大挑战。以往的研究仅用黑质(SN)中的铁、神经肽(NM)或黑体-1(N1)征本身并不能为这些方法的临床应用提供足够高的诊断性能。本研究的目的是利用单个三维磁化传递对比(MTC)梯度回波序列提取代表整个SN的NM复合体体积、铁含量和体积,以及N1征作为潜在的互补成像生物标志物,并评估它们在早期PD中的诊断性能和临床相关性。对40例早期特发性帕金森病患者和40例年龄、性别匹配的健康对照(HCS)进行3T扫描。使用动态编程(DP)边界检测算法半自动地确定NM边界(代表SN部致密区(SNPC)和脑桥臂旁色素神经核)和铁边界(代表总SN(SNPC和SN网状部))。受试者操作特性分析用于评估这些成像生物标志物在早期帕金森病诊断中的作用。应用相关分析研究这些影像指标与临床评分的关系。我们还引入了NM和总铁重叠体积的概念,以证明NM相对于含铁SN的损失。此外,所有80例患者均独立评估N1征象。PD组SN中NM和SN体积低于HCS组,而SN中铁含量高于HCS组。有趣的是,双侧N1信号缺失的帕金森病患者的铁含量最高。单项测量的两个半球的平均值的曲线下面积(AUC)值为:NM复合体体积为0.960;SN总体积为0.788;SN铁含量为0.740;N1标志为0.891。通过二元Logistic回归将NM复合体体积与以下测量中的每一项相结合,得到了右侧和左侧的平均0AUC值:总铁含量为0.976;总SN体积为0.969,重叠体积为0.965,N1符号为0.983。我们发现SN体积与UPDRS-III呈负相关(R2=0.22,p=0.002)。虽然N1标志表现良好,但它不包含任何有关铁含量或NM数量的信息,因此,将该标志与NM和RON测量结合起来,可以更好地解释当N1标志在PD受试者中消失时发生的情况。总之,从单个MTC序列得出的NM复合体体积、SN体积、铁含量和N1征的组合为理解和诊断早期PD提供了补充信息。
悦影科技
2021/03/24
8610
精神病性疾患的精准精神病学框架
精神病性疾患患者在发病、对治疗的反应和复发方面可以表现出明显的个体间差异,但他们接受的是广泛相似的临床护理。精准精神病学是一种方法,旨在根据不同的临床结果对特定疾病的患者进行分层,并根据他们的个人需求量身定制治疗。目前,仅根据临床评估无法预测精神障碍结果的个体间差异。因此,目前的精神病研究试图通过将临床信息与一系列生物学测量相结合来建立预测结果的模型。在这里,我们回顾了精准精神病学应用于精神病性疾患的最新进展,并考虑了在临床实践中实施这种方法相关的挑战。
悦影科技
2023/06/25
1750
什么是ROC曲线?为什么要使用ROC?以及 AUC的计算
真正(True Positive , TP)被模型预测为正的正样本; 假负(False Negative , FN)被模型预测为负的正样本; 假正(False Positive , FP)被模型预测为正的负样本; 真负(True Negative , TN)被模型预测为负的负样本。
种花家的奋斗兔
2020/11/13
69.3K1
什么是ROC曲线?为什么要使用ROC?以及 AUC的计算
100+数据科学面试问题和答案总结 - 基础知识和数据分析
来自Amazon,google,Meta, Microsoft等的面试问题,问题很多所以对问题进行了分类整理,本文包含基础知识和数据分析相关问题
deephub
2022/11/11
1K0
100+数据科学面试问题和答案总结 - 基础知识和数据分析
7.5分纯生信, so easy!看完我也能做!
今天给大家带来的是篇非肿瘤纯生信文章,2022年发表在Front Immunnol上。文章思路清晰,整体上就是基于差异表达分析、WGCNA 和 Lasso 回归挖掘疾病相关的hub基因,然后对差异基因进行GO、KEGG 和GSEA分析。然后ssGSEA分析表达谱中 28 个免疫细胞的浸润水平及其与中枢基因标记的关系。最后使用ROC曲线评估了hub基因在疾病中的诊断价值。一气呵成,确定了参与疾病进展的关键生物标志物和免疫相关途径及其与免疫细胞浸润的关系。看完直呼我也能做!
用户6317549
2022/04/09
1.5K0
7.5分纯生信, so easy!看完我也能做!
ROC曲线+生存曲线如何发6+分?
前列腺癌(PCa)是男性中最常见的癌症,尽管筛查中约40%的PCa是惰性的,但晚期PCa的5年生存率仅为29%。PCa具有复杂的疾病谱,从临床惰性到具有高度异质性的侵袭性亚型,因而临床上需要根据生物标志物和影像学检查来考虑疾病是否可能进展,当前的标准化治疗(SOC)中基于血清PSA的前列腺癌筛查会导致较高的假阳性、活检并发症和过度诊断,最终导致过度治疗。作者希望以蛋白组学研究来鉴定用于早期检测侵袭性PCa的蛋白标志物,以提高现有预后模型对患者进行风险分层的能力。
科研菌
2020/06/28
1.1K0
「粉红杀手」通缉令,AI 阅读乳腺 X 光片的能力已与医生相当
据世界卫生组织统计,2020 年全球新发乳腺癌病例 230 万例,在所有癌症中居首位,超越肺癌成为第一大癌。
HyperAI超神经
2023/09/22
1640
「粉红杀手」通缉令,AI 阅读乳腺 X 光片的能力已与医生相当
精度是远远不够的:如何最好地评估一个分类器?
分类模型(分类器)是一种有监督的机器学习模型,其中目标变量是离散的(即类别)。评估一个机器学习模型和建立模型一样重要。我们建立模型的目的是对全新的未见过的数据进行处理,因此,要建立一个鲁棒的模型,就需要对模型进行全面而又深入的评估。当涉及到分类模型时,评估过程变得有些棘手。
deephub
2020/05/09
1.6K0
精度是远远不够的:如何最好地评估一个分类器?
R语言 ROC曲线
ROC曲线(受试者工作特征, Receiver Operating Characteristic) 可以简单、直观得观察分析方法的临床准确性,并可用肉眼作出判断。ROC以真阳性率(灵敏度FPR)为纵坐标,假阳性率(1-特异度TPR)为横坐标绘制的曲线,可准确反映某分析方法特异性和敏感性的关系,是试验准确性的综合代表。ROC曲线不固定分类界值,允许中间状态存在,利于使用者结合专业知识,权衡漏诊与误诊的影响,选择一更佳截断点作为诊断参考值。提供不同试验之间在共同标尺下的直观的比较,ROC曲线越凸越近左上角表明其
用户1359560
2018/08/27
2.8K0
R语言 ROC曲线
受试者工作特性曲线 (ROC) 的原理及绘制方式
受试者工作特性曲线 (Receiver Operating Characteristic, ROC) 曲线是生信分析中一种常用的性能评估方法,那么他背后的原理是什么呢?他为什么会被推荐作为二分类模型的优秀性能指标呢?
叶子Tenney
2024/05/28
3.3K0
受试者工作特性曲线 (ROC) 的原理及绘制方式
ROC曲线理解
即受试者工作特征曲线,是反映敏感度和特异度连续变量的综合指标,用作图法展示两度之间的关系。
全栈程序员站长
2022/08/29
2.7K0
ROC曲线理解
推荐阅读
相关推荐
细胞焦亡基因构建预后模型,发表7分+SCI!
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档