有没有一种方法可以在不打乱数据的情况下进行分层的训练/测试拆分？
是的，可以使用交叉验证（Cross Validation）方法来在不打乱数据的情况下进行分层的训练/测试拆分。
交叉验证是一种常用的模型评估方法，它将数据集分为训练集和测试集，并重复多次进行模型训练和评估。其中，分层交叉验证（Stratified Cross Validation）是一种特殊的交叉验证方法，它能够保持数据集中各类别样本的比例在训练集和测试集中的一致性。
具体步骤如下：
- 将数据集按照类别进行分组。
- 对于每个类别，将其样本分为K份（通常K取值为5或10）。
- 对于每一份，将其作为测试集，其余K-1份作为训练集。
- 重复步骤3，直到每一份都作为测试集过一次。
- 对于每次划分，都可以得到一个模型评估指标（如准确率、精确率、召回率等）。
- 最后，将所有评估指标的平均值作为模型的性能评估结果。
交叉验证的优势在于能够更充分地利用数据集，减少模型评估结果的方差，提高模型的泛化能力。它适用于数据集较小、样本分布不均衡的情况下，能够更准确地评估模型的性能。
腾讯云提供了一系列与机器学习和数据处理相关的产品，例如腾讯云机器学习平台（https://cloud.tencent.com/product/tcmlp）、腾讯云数据万象（https://cloud.tencent.com/product/ci）、腾讯云数据湖（https://cloud.tencent.com/product/datalake）等，可以帮助用户进行数据处理、模型训练和评估等工作。
相关·内容
这里已经描述了如何通过train_test_split ()在scikit中进行分层训练/测试拆分，以及如何通过np.split ()随机训练/验证/测试拆分。但是，如何进行分层训练/验证/测试拆分呢？对于分层(在类标签上)训练/验证
浏览 0提问于2016-11-27得票数 9
我使用对时间敏感的数据，并希望保持数据的顺序，但由于我有多个标签，因此对数据进行分层。我还没有找到任何允许这样做的库。
浏览 7提问于2020-02-26得票数 0
1回答
我使用H2O来构建和比较模型，但我想知道是否有一个特性允许我以分层的方式将数据分成训练和测试？我看过这个，但它没有指定是否对分类进行分层拆分。
也许对于分类问题，它是隐含的</
浏览 17提问于2020-03-03得票数 2
我试图使用scikit learn的分层随机拆分将我的数据集拆分成训练集和测试集，但它不起作用，因为其中一个类只有一个实例。
如果将一个实例放入训练集或测试集，就可以了。我有什么方法可以做到这一点吗？
浏览 2提问于2021-08-03得票数 0
1回答
我想知道是否有一种简单的方法可以在python中进行训练测试拆分(主要对交叉验证感兴趣)，这样我就不会在训练和测试中得到来自同一个患者的数据点？也就是说，我想首先将患者分成训练和测试，然后进行相应的观察。
有没有针对这种场景的功能，或者我必须手动编码？
浏览 1提问于2021-03-10得票数 1
我正在使用MATLAB函数TreeBagger()进行随机森林分类，以完成一项任务。当测试数据的变量数量与训练数据的变量数量不同时，它会给出错误。我被告知，变量选择应该只在训练数据上进行，而不是在测试数据上，这样测试数据上就没有偏见。因此，在将初始数据集(50个变量)
浏览 0提问于2015-12-20得票数 1
我正在阅读Aurélien Géron著的“用Scikit进行机器学习-学习和Tensorflow”一书。在一个关于加州房价的回归项目中，他研究了分层抽样的概念。我想我理解他的解释：“人口被划分为同质的亚组，称为地层，每个阶层抽样正确的实例数，以保证测试集代表整个人口。”所以用我自己的话说，简单地用sklearn的train_test_split分割数据集就会使训练</em
浏览 0提问于2019-04-30得票数 6
回答已采纳
我刚刚开始与ML和我的第一次Kaggle比赛(泰坦尼克号)。我只是想知道用以下步骤组织数据以避免冗余的最佳方法是什么：数据缺口的核算(估算)将数据拆分为培训和验证集
然后对模型进行拟合和预测。我的主要问题是，在对数据进行编码之前，是否最好先进行拆分，还是只在</
浏览 0提问于2018-08-09得票数 0
我正在使用神经网络(NN)作为我的地球物理学论文的一部分，并且正在使用TensorFlow和Keras来训练我的网络。
我目前的任务是使用神经网络来近似热力学模型，即非线性回归问题。它接受13个输入参数，并输出450个参数的速度剖面(速度与深度)。我的数据由100,000个合成示例(即没有噪声存在)、训练(80k)、验证(10k)和测试(10k)组成。我已经针对许多不同的架构测试了
浏览 0提问于2019-01-29得票数 2
我有一个大约200万的观测数据集，我需要按60:20:20的比例分成训练、验证和测试集。这个部分很好，我可以使用来自sklearn库的sklearn。
但是，我还需要确保来自每个主题的观察结果不会被分割到培训、验证和测试数据集中。来自给定主题的所有观察都需要放在同一个桶中，以确保我的受过训练的模型在涉及验证/测
浏览 0提问于2019-07-03得票数 25
回答已采纳
testing setscrossvalind用于执行交叉验证，通过返回索引，将整个特性集X随机分成训练和测试数据利用这些指标，我们可以分别生成X(trainIdx,:)和X(testIdx,:)的训练数据和测试数据。cvpartition也使用分层和非分层的</e
浏览 1提问于2018-06-06得票数 1
回答已采纳
2回答
如果不是，为什么会这样何时确定验证集是测试集的良好代表？这两个结果之间的差异应该在一定范围内吗？类
浏览 0提问于2020-09-29得票数 0
回答已采纳
问题陈述我面临着两种不同的策略。第一种方法是在训练前对语料库进行预处理，然后在训练前进行训练/测试分离。第二种方法是从预先制作的列车/测试间隔开始，因此预处理是分开进行的
浏览 0提问于2018-10-07得票数 3
回答已采纳
1回答
R因子测试卡有新的等级。
、、、、
我在R中使用C5.0构建了一个分类模型，如下所示：library(caret)set.seed(123)TreePred <
浏览 4提问于2015-07-14得票数 1
2回答
在中，这似乎意味着顺序应该是：
然而，在我看来，这似乎很奇怪:如果您还没有选择您的超参数(在这种情况下是多项式度)，那么如何将您的模型与训练集相匹配呢？我看到了三种不同的方法，我
浏览 1提问于2019-01-10得票数 1
回答已采纳
在数据预处理中，使用分层洗牌确保原始数据集的分布反映在培训、测试和验证数据集中。
小型批处理梯度下降使用随机洗牌来确保小批中的随机性.我的疑问是-为什么我们应该在我们的数据集上执行分层洗牌，如果它要在训练期间以随机的方式被洗牌？
浏览 0提问于2020-08-08得票数 2
回答已采纳
2回答
我刚刚看到了这个，它展示了如何使用numpy分割数据。假设我们要将它们拆分为0.8、0.1、0.1，分别用于培训、测试和验证，您可以这样做：我想知道如何在使用这种方法分割数据时考虑分层。分层是分割数据，同时保留数据中每个类的优先级。也就是说，如果要将0.8作
浏览 2提问于2019-01-27得票数 2
回答已采纳
2回答
我正在使用XGBoost的python接口来构建模型。我有一个正在使用xgb.DMatrix(data_path)读取的数据集。我需要将这些数据分为训练和测试(如果需要，还需要验证)。但是我看到的大多数实现都是这样的dtest = xgb.DMatrix('')
我找不到一种方法，我们可以在哪里读取数
浏览 0提问于2018-05-28得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
