我刚刚从我的数据集中加载了大约80500张照片，我如何使用列车测试分割方法将它们分离出来，然后将它们转储到一个文件中。例如(joblib.dump) 我想要60%的训练集，20%的验证和20%的测试。我的数据集加载代码有问题吗？因为我不能拆分数据 folders = glob.glob('C:\\Users\\Pc\\Desktop\\Facial
浏览 29提问于2021-02-04得票数 0
1回答
众所周知，在模型训练期间，我们坚持测试集。然而，我实际上在部署过程中发现，如果在整个数据集(train+test)上使用新的模型序列，实际上在预测真正的“未见”数据方面也会产生相当好的结果。我正在寻找对这种方法的评论。有什么问题吗？
特别是，在这种方法中，我将对整个数据集应用任何类型的转换，例如标准化/规范化/分类编码。对部署
浏览 0提问于2022-04-06得票数 0
回答已采纳
我尝试使用GridSearchCV方法调优超参数。 问题:我得到不同的预测精度，这取决于我使用的random_state。我尝试过的方法:我尝试将random_state参数设置为全局状态(使用np.random.seed( randomState )并在脚本顶部将randomState设置为整数)。从这里，我找到了最好的估计器，并选择这个作为我的模型。然后，我使用我的模型进行预测，并打印结果<em
浏览 155提问于2020-10-05得票数 0
3回答
数据科学模型与培训-理解
、、、、
来自编写代码、测试、部署、运行的编程背景。我试图用数据科学中的“训练模型”或“受过训练的模型”的概念来思考，并部署这个经过训练的模型。
我并不真正关心部署环境，自动化等等。我在努力了解部署部队..。我理解训练模型和将一组数据分成训练集和测试集的概念，但是让我
浏览 1提问于2018-01-10得票数 0
如果我只有684行和177列的数据集，而我要预测的列有3个标签，那么优化Sklearn分类器中的参数的最佳方法是什么？我知道我应该将数据分成训练、验证和测试集，然后找到参数来训练训练集，使验证集中的度量最大化，并在测试集中使用这个优化的分类器。但是，当我使用决策树分类器执行此操作时，对验证集最
浏览 0提问于2019-08-07得票数 0
回答已采纳
1回答
我在许多不同的来源中看到，我需要将我的数据分成一个训练集和一个测试集。然后，我必须确保算法只对训练数据进行训练，并尽量避免测试数据泄漏到训练过程中。为了避免学习不重要的数据细节(这将提高算法的泛化能力)，我可以将训练数据进一步分割成适当<e
浏览 0提问于2020-01-23得票数 1
回答已采纳
我正在编写一段关于机器学习的python代码，其中我必须随机地将100000个样本和拆分的数据放入训练和测试集。我已经将数据存储到两个numpy数组中。如果我使用下面的命令，它太耗时了。有没有什么有效的方法可以随机地对数据进行混洗，然后将其分成训练集和测试集？谁能推荐一个对我有帮助的pytho
浏览 0提问于2017-04-26得票数 0
1回答
我有一个带有ID的动物类型数据集，我想将这些数据集分成测试/训练数据集。我还希望将各个动物的所有ID保存在训练或测试数据集中。下面是随机训练/测试分割比率为80/20的数据示例。TRAINDOG 3 TRAIN
DOG 4 T
浏览 30提问于2020-10-02得票数 2
2回答
我在R中使用支持向量回归来预测单变量时间序列的未来值。将历史数据分成测试集和训练集，使用R中的svm函数对测试数据建立模型，然后对训练数据使用predict()命令来预测训练集的值。我们有一个模型，通过对训练数据检查该模型，我们发现该模型是有效的。我如何使用这个模型来预测<e
浏览 9提问于2015-04-14得票数 2
我已经看过了实现，但我的技术水平还不够高，不能靠我自己得出结论。所有关于使用learning_curve的教程都会让你将整个数据集传递给learning_curve，learning_curve会将数据分成训练集和测试集。任何估计器的所有教程都让您将数据拆分为训练和测试，然后仅缩放训练数据，并使用训练<
浏览 0提问于2018-09-13得票数 2
X数据的两个常见的ML预处理步骤是标准化(例如，缩放到单位方差)和分解(将特征映射到一个新空间AIUI)。在ML管道中实现这些步骤(包括培训/测试/验证集)的两种可能方法是：
1)对整个训练/测试/验证X数据集进行标准化/分解，然后分解成训练/测试集，并使用最小误差模型对验证集进行预测。
浏览 2提问于2015-05-12得票数 1
回答已采纳
y gg 3 z ii 2 z
对于训练集和测试集在这里，我需要分成测试和训练，以便每个group中70%的数据应该在训练中，每个组中30%的数据作为测试数据。然后预测并</
浏览 0提问于2018-11-08得票数 0
我正在使用从Kaggle下载的数据集。数据集已经划分为两个列车和测试的CSV。
我用训练集建立了一个模型，因为我把列车CSV导入了木星笔记本。我预测使用列车CSV本身。我想进行交叉验证。我是否应该对列车CSV进行交叉验证，并再次将其分成两部分:列车和测试？或者，我应该导入一个新的CSV文件测试并将两个CSV合并成一个吗？
浏览 0提问于2019-08-17得票数 6
回答已采纳
5回答
我有一个熊猫数据帧，我想把它分成3个单独的集合。我知道使用sklearn.cross_validation中的，可以将数据分成两个集合(训练和测试)。然而，我找不到任何关于将数据分成三个集合的解决方案。最好，我想要原始数据的索引。
我知道一个变通办法是使用train_test_split两次，
浏览 109提问于2016-07-08得票数 199
回答已采纳
嗨，我正在尝试运行一个“滚动窗口”风格的时间序列交叉验证:即训练与8周的数据，测试与下周，幻灯片1周。我已经将我的数据文件拆分成每周一次的块。因此，我希望将多个文件传递给--data参数(我尝试重复使用--data)。
这不起作用，但似乎可以使用多个缓存文件。AFAIK，这需要我首先从我的文本文件块中<
浏览 0提问于2018-04-23得票数 2
我在测试我的模型时遇到了问题，当我训练我的模型时，它工作得很好。然而，当我尝试将测试数据放入模型中时，它给出了大小不匹配的错误，这是我所期望的。我把我的数据分成了70%的训练和30%的测试。numpy()[:100] , ypred_test.detach().numpy()[:100] ,
浏览 20提问于2020-12-10得票数 0
1回答
在对人工智能和情感分析做了大量的研究之后，我发现了两种文本分析的方法。在对文本进行预处理之后，我们必须创建一个分类，以便得到正反两方面的结果，所以我的问题是，最好有这样的例子：100条文本训练记录，包括两个字段：文本&状态字段，表示其正值1或负0.第二种方法:用100条文本记录来训练和制作单词包的一个词汇表，以便在此单词包<
浏览 4提问于2020-03-19得票数 0
2回答
特征选择和交叉验证
、、、、
为了评估我的模型的性能，我还执行了5折交叉验证，我对以下两种方法的问题是正确的，为什么？1-如果我将数据分成两半，在前半部分进行特征选择，并使用这些选择的特征在剩余的一半上进行5折叠交叉验证( CV ) (在这种情况下，5 CV将使用完全相同的选择特征)。2-执行以下步骤：
1-将数据分成4/5用于训练</em
浏览 1提问于2013-10-29得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
