首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

在训练、验证和测试中进行数据拆分,独立于受试者的10倍交叉验证?

在训练、验证和测试中进行数据拆分,独立于受试者的10倍交叉验证是一种常用的机器学习模型评估方法。它将数据集分为训练集、验证集和测试集,并通过多次迭代的方式进行模型训练和评估。

具体步骤如下:

  1. 数据集拆分:将原始数据集按照一定比例划分为训练集、验证集和测试集。常见的划分比例是70%的数据用于训练,15%的数据用于验证,15%的数据用于测试。
  2. 模型训练:使用训练集对模型进行训练,通过学习数据的特征和规律来建立模型。
  3. 模型验证:使用验证集对训练得到的模型进行验证,评估模型在未见过的数据上的性能表现。可以通过计算准确率、精确率、召回率等指标来评估模型的性能。
  4. 参数调优:根据验证集的评估结果,调整模型的超参数,如学习率、正则化参数等,以提高模型的性能。
  5. 模型测试:使用测试集对经过参数调优的模型进行最终的评估,评估模型在真实场景下的性能表现。

10倍交叉验证是指将数据集分为10个子集,每次选取其中9个子集作为训练集,剩下的1个子集作为验证集,进行模型训练和验证。这样可以得到10组不同的训练集和验证集,最终将它们的评估结果取平均值作为模型的性能评估指标。

优势:

  1. 充分利用数据:通过多次迭代的方式,充分利用了数据集中的所有样本进行模型训练和评估,提高了模型的泛化能力。
  2. 减小过拟合风险:通过验证集的评估结果,可以及时发现模型的过拟合问题,并进行参数调优,减小模型在未知数据上的误差。
  3. 提供稳定的评估指标:通过多次迭代取平均值,可以得到更稳定的模型评估指标,减小随机因素对评估结果的影响。

应用场景: 10倍交叉验证适用于各种机器学习任务,特别是在数据集较小、样本分布不均衡或需要对模型进行调优时,可以提供更可靠的模型性能评估。

腾讯云相关产品推荐: 腾讯云提供了一系列与机器学习和数据处理相关的产品和服务,以下是一些推荐的产品和产品介绍链接地址:

  1. 云服务器(Elastic Compute Cloud,ECS):提供弹性计算能力,支持各种操作系统和应用场景。链接:https://cloud.tencent.com/product/cvm
  2. 云数据库MySQL版(TencentDB for MySQL):提供高可用、可扩展的MySQL数据库服务。链接:https://cloud.tencent.com/product/cdb_mysql
  3. 人工智能机器学习平台(AI Machine Learning Platform):提供丰富的机器学习算法和模型训练工具,支持快速构建和部署机器学习模型。链接:https://cloud.tencent.com/product/tiia
  4. 腾讯云存储(Cloud Object Storage,COS):提供高可靠、低成本的对象存储服务,适用于存储和处理大规模的数据集。链接:https://cloud.tencent.com/product/cos
  5. 云原生应用引擎(Cloud Native Application Engine,CNAE):提供基于容器的应用托管服务,支持快速部署和管理容器化应用。链接:https://cloud.tencent.com/product/tke

请注意,以上推荐的产品和链接仅供参考,具体选择应根据实际需求和情况进行。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

NC:数据泄漏会夸大基于连接的机器学习模型的预测性能

预测建模是神经影像学中识别大脑行为关系并测试其对未见数据的普遍适用性的核心技术。然而,数据泄漏破坏了训练数据和测试数据之间的分离,从而破坏了预测模型的有效性。泄漏总是一种不正确的做法,但在机器学习中仍然普遍存在。了解其对神经影像预测模型的影响可以了解泄露如何影响现有文献。在本文中,我们在4个数据集和3个表型中研究了5种形式的泄漏(包括特征选择、协变量校正和受试者之间的依赖)对基于功能和结构连接组的机器学习模型的影响。通过特征选择和重复受试者产生的泄漏极大地提高了预测性能,而其他形式的泄漏影响很小。此外,小数据集加剧了泄漏的影响。总体而言,我们的结果说明了泄漏的可变影响,并强调了避免数据泄漏对提高预测模型的有效性和可重复性的重要性。

01
  • Molecular Psychiatry:静息态fMRI预测青少年认知能力

    青春期是主要的身体、认知和社会心理的变化时期,极易出现不良行为模式和精神疾病,可能会导致整个成年期的精神和身体健康状况恶化。其中主要危险因素之一是难以获得较高层次的认知功能,其中包括各种不同的推理和解决问题的能力、认知能力和学习/回忆信息能力。目前普遍认为,高阶认知功能依赖于任务控制网络和默认模式网络(DMN)之间的复杂相互作用。而且,从儿童早期到成年早期,任务控制网络和DMN之间的功能联系逐渐发展,这意味着信息交换的增长和自上而下的监管关系的成熟。这提出了一个有趣的问题:这些网络之间的连接模式的差异是否预示着高阶认知功能的差异。

    01

    ​跨模态编码刺激(视觉-语言大脑编码)实现脑机接口

    实现有效的脑-机接口需要理解人脑如何跨模态(如视觉、语言(或文本)等)编码刺激。大脑编码旨在构建fMRI大脑活动给定的刺激。目前有大量的神经编码模型用于研究大脑对单一模式刺激的编码:视觉(预训练的CNN)或文本(预训练的语言模型)。通过获得单独的视觉和文本表示模型,并使用简单的启发式进行后期融合。然而,以前的工作未能探索:(a)图像转换器模型对视觉刺激编码的有效性,以及(b)协同多模态模型对视觉和文本推理的有效性。在本研究中首次系统地研究和探讨了图像转换器(ViT,DEiT和BEiT)和多模态转换器(VisualBERT,LXMERT和CLIP)对大脑编码的有效性,并发现:VisualBERT是一种多模态转换器,其性能显著优于之前提出的单模态CNN、图像转换器以及其他之前提出的多模态模型,从而建立了新的研究状态。

    02

    机器学习与神经影像:评估它在精神病学中的应用

    精神疾病是复杂的,涉及不同的症状学和神经生物学,很少涉及单一的、孤立的大脑结构的破坏。为了更好地描述和理解精神疾病的复杂性,研究人员越来越多地将多元模式分类方法应用于神经成像数据,特别是监督机器学习方法。然而,监督机器学习方法也有独特的挑战和权衡,需要额外的研究设计和解释考虑。本综述的目的是提供一套评估机器学习应用于精神障碍的最佳实践。我们将讨论如何评估两种共同的努力:1)作出可能有助于诊断、预后和治疗的预测;2)询问精神病理学背后复杂的神经生理机制。我们在这里重点讨论机器学习应用于功能连接与磁共振成像,作为一个基础讨论的例子。我们认为,为了使机器学习分类对个体水平的预测具有转化效用,研究人员必须确保分类具有临床信息性,独立于混杂变量,并对性能和泛化性进行适当评估。我们认为,要想揭示精神疾病的复杂机制,需要考虑机器学习方法识别的神经成像特征(如区域、网络、连接)的独特效用、可解释性和可靠性。最后,我们讨论了大型、多站点、公开可用的数据集的兴起如何有助于机器学习方法在精神病学中的应用。

    00

    如何在交叉验证中使用SHAP?

    在许多情况下,机器学习模型比传统线性模型更受欢迎,因为它们具有更好的预测性能和处理复杂非线性数据的能力。然而,机器学习模型的一个常见问题是它们缺乏可解释性。例如,集成方法如XGBoost和随机森林将许多个体学习器的结果组合起来生成结果。尽管这通常会带来更好的性能,但它使得难以知道数据集中每个特征对输出的贡献。为了解决这个问题,可解释人工智能(explainable AI, xAI)被提出并越来越受欢迎。xAI领域旨在解释这些不可解释的模型(所谓的黑匣子模型)如何进行预测,实现最佳的预测准确性和可解释性。这样做的动机在于,许多机器学习的真实应用场景不仅需要良好的预测性能,还要解释生成结果的方式。例如,在医疗领域,可能会根据模型做出的决策而失去或挽救生命,因此了解决策的驱动因素非常重要。此外,能够识别重要变量对于识别机制或治疗途径也很有帮助。最受欢迎、最有效的xAI技术之一是SHAP。

    01

    BrainAGE作为大脑老化的神经影像标志物的十年

    随着人口老龄化,神经退行性疾病的发病率越来越高,给个人和整个社会带来越来越大的负担。然而,个体的衰老速度是由环境、基因和表观遗传等各种因素以及各因素间的相互作用决定的。建立神经解剖学衰老过程的生物标志物,是神经科学的一个新趋势,以便在个体水平上,对年龄相关性神经退行性疾病和神经精神疾病进行风险评估和预测。“脑年龄差距估计(Brain Age Gap Estimation,BrainAGE)”方法是基于结构MRI,预测和评估个体脑龄的首个也是实际应用最广泛的概念。本文总结了过去10年内发表的所有研究,这些研究建立并使用BrainAGE方法来评估基因、环境、生活负担、疾病或寿命之间的相互作用,研究衰老对个体神经解剖学的影响。未来,基于结构或功能标记物的BrainAGE和其他脑年龄预测方法可能会改善对神经病学、神经精神病学和神经退行性疾病的个体风险的评估,并有助于开发个性化的神经保护治疗和干预措施。本文发表在Frontiers in Neurology杂志。

    03

    结构-功能脑网络耦合预测人类认知能力

    摘要:一般认知能力(GCA)的个体差异在人脑的结构和功能中具有生物学基础。网络神经科学揭示了GCA在结构和功能脑网络中的神经相关性。然而,结构网络和功能网络之间的关系,即结构-功能脑网络耦合(SC-FC耦合)是否与GCA的个体差异有关,仍然是一个悬而未决的问题。我们使用了来自1030名成人的人类连接组项目数据,通过扩散加权成像获得结构连通性,通过静息状态fMRI获得功能连通性,并评估了GCA作为12项认知任务的潜在g因子。两个相似性测量和六个通信测量被用来模拟可能的功能相互作用产生的结构脑网络。在全脑水平上,较高的GCA与较高的SC-FC耦合相关,但仅在将路径传递性作为神经通信策略时才如此。考虑到SC-FC耦合策略的区域特异性变化,并区分与GCA的正相关和负相关,可以在交叉验证的预测框架中预测个体认知能力得分。同样的模型也可以预测完全独立样本的GCA评分。我们的研究结果提出结构-功能脑网络耦合与GCA的神经生物学相关联,并提出脑区域特异性耦合策略是预测认知能力的神经基础。

    00

    Neuro-Oncology:对脑胶质瘤IDH突变状态进行分类的一种新型的基于MRI的全自动深度学习算法

    异柠檬酸脱氢酶(Isocitrate dehydrogenase, IDH)突变状态已成为神经胶质瘤的重要预后标志。当前,可靠的IDH突变诊断需要侵入性外科手术。该研究的目的是使用T2加权(T2w)MR图像开发高度精确的、基于MRI的、基于体素的深度学习IDH分类网络,并将其性能与基于多模态数据的网络进行比较。研究人员从癌症影像档案馆(The Cancer Imaging Archive,TCIA)和癌症基因组图谱(The Cancer Genome Atlas,TCGA)中获得了214位受试者(94位IDH突变,120位IDH野生型)的多参数脑MRI数据和相应的基因组信息。他们开发了两个单独的网络,其中包括一个仅使用T2w图像的网络(T2-net)和一个使用多模态数据(T2w,磁共振成像液体衰减反转恢复序列(FLAIR)和T1 postcontrast)的网络(TS-net),以执行IDH分类任务和同时进行单标签肿瘤分割任务。本文使用3D的Dense-UNets的架构。使用三折交叉验证泛化网络的性能。同时使用Dice系数评估算法分割肿瘤的精度。T2-net在预测IDH突变状态任务上表现出97.14%±0.04的平均交叉验证准确率,灵敏度为0.97±0.03,特异性为0.98±0.01,曲线下面积(AUC)为0.98±0.01。TS-net的平均交叉验证准确性为97.12%±0.09,灵敏度为0.98±0.02,特异性为0.97±0.001,AUC为0.99±0.01。T2-net的肿瘤分割Dice系数的平均得分为0.85±0.009,TS-net的肿瘤分割Dice系数的平均得分为0.89±0.006。

    05

    利用机器学习和功能连接预测认知能力

    使用机器学习方法,可以从个体的脑功能连通性中以适度的准确性预测认知表现。然而,到目前为止,预测模型对支持认知的神经生物学过程的洞察有限。为此,特征选择和特征权重估计需要是可靠的,以确保具有高预测效用的重要连接和环路能够可靠地识别出来。我们全面研究了基于健康年轻人静息状态功能连接网络构建的认知性能各种预测模型的特征权重-重测可靠性(n=400)。尽管实现了适度的预测精度(r=0.2-0.4),我们发现所有预测模型的特征权重可靠性普遍较差(ICC<0.3),显著低于性别等显性生物学属性的预测模型(ICC≈0.5)。较大的样本量(n=800)、Haufe变换、非稀疏特征选择/正则化和较小的特征空间略微提高了可靠性(ICC<0.4)。我们阐明了特征权重可靠性和预测精度之间的权衡,并发现单变量统计数据比预测模型的特征权重稍微更可靠。最后,我们表明,交叉验证折叠之间的特征权重度量一致性提供了夸大的特征权重可靠性估计。因此,如果可能的话,我们建议在样本外估计可靠性。我们认为,将焦点从预测准确性重新平衡到模型可靠性,可能有助于用机器学习方法对认知的机械性理解。

    03

    从清醒到睡眠的动态功能连接

    近年来,fMRI对时间分辨连通性的研究发展迅速。研究连接性随时间变化的最广泛使用的技术是滑动窗口方法。对于短窗与长窗的效用,固定窗与自适应窗的使用,以及在清醒状态下观察到的静息状态动态是否主要是由于睡眠状态和受试者头部运动的变化,一直存在一些争论。在这项工作中,我们使用了一个基于独立成分分析(ICA)的流程,将其应用于并发的清醒和不同睡眠阶段收集的脑电图/功能磁共振成像数据,并显示:1)从静息态时间过程的滑动窗相关的聚类得到的连接状态可以很好的分类从脑电图数据获得的睡眠状态,2)使用较短的滑动窗口代替非重叠窗口提高了捕获转变动力学的能力,即使在30s的窗长,3)运动似乎主要与一种状态相关,而不是分散在所有状态,4)固定的锥形滑动窗口方法优于自适应动态条件相关方法,5)与之前的EEG/fMRI工作一致,我们在清醒状态下识别多种状态的证据,这些证据能够被高度准确地分类。仅清醒状态的分类表明,除了睡眠状态或运动外,fMRI数据中连通性的时变变化也存在。结果也告知了有利的技术选择,和觉醒内不同集群的识别建议这一方向需要进一步研究。

    00

    重度抑郁症患者的脑功能老化加速:来自中国大规模fMRI证据

    重度抑郁症(MDD)是一种最常见的心理健康疾病,它与脑萎缩和死亡率的关系已被深入研究。最近的研究表明,预测年龄和实际年龄之间的偏差可能是大脑衰老加速表征MDD的标志。然而,目前的结论通常是基于从白人参与者收集的结构MRI信息得出的。这一生物标志物的普遍性需要通过不同民族/种族背景的受试者和不同类型的数据进一步验证。在这里,我们使用REST-meta-MDD,一个从中国多个队列参与者收集的大规模静息状态fMRI数据集。我们开发了一个基于1101个健康对照的堆叠机器学习模型,该模型通过功能磁共振成像(fMRI)估计受试者的实际年龄,具有很好的准确性。训练后的模型应用于来自24个地点的1276名重度抑郁症患者。我们观察到MDD患者表现为a+4.43年,高于对照组的脑预测年龄差异(brain-PAD)。在MDD亚组中,抗抑郁药物使用者的脑PAD与非药物使用者的比较,我们观察到有统计学意义的+2.09年。观察到的统计关系进一步通过三种不同的机器学习算法进行检验。在中国参与者中观察到的脑内PAD阳性证实了重度抑郁症患者大脑加速老化的存在。利用脑功能连通性进行年龄估计从一个新的维度验证了现有的发现。

    03

    NeuroImage:功能磁共振成像中自发、短暂脑网络相互作用的行为相关性

    摘要:几十年来,不同脑区自发波动的功能磁共振成像(fMRI)信号与行为之间的关系一直处于探索阶段,这些信号间的相关性(即功能连接)可以在几分钟的数据中平均,为个体提供功能网络架构的稳定表征。然而,这些稳定表征和行为特征之间的联系已被证明是由解剖学上的个体差异所决定。这里,我们使用核学习方法,提出了评估和比较时变功能连接、时间平均功能连接、脑结构数据和非成像主体行为特征间关系的方法。我们将这些方法应用于Human Connectome Project(HCP)静息态功能磁共振(rsfMRI)数据中,发现在几秒钟的时间尺度上检测到的fMRI时变功能连接和一些与解剖学无关的行为特征有关。尽管时均功能连接在个体间的fMRI信号可变性中所占比例最大,但我们发现智力的某些方面只能用时变功能连接来解释。研究表明,时变fMRI功能连接与群体行为多变有着独特的关系,它可能反映了围绕稳定的神经结构波动的短暂神经元交流。

    00
    领券