python中有没有一个简单的函数可以从数据集中排除训练集？
在Python中，可以使用train_test_split函数从数据集中排除训练集。该函数是scikit-learn库中的一个常用函数，用于将数据集划分为训练集和测试集。
train_test_split函数的使用方法如下：
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)其中，X是特征数据集，y是目标变量。test_size参数指定了测试集的比例，可以根据需求进行调整。random_state参数用于设置随机种子，保证每次划分的结果一致。
train_test_split函数会返回四个数据集：X_train为训练集特征数据，X_test为测试集特征数据，y_train为训练集目标变量，y_test为测试集目标变量。
使用train_test_split函数可以方便地从数据集中排除训练集，以便进行模型训练和评估。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云机器学习平台（Tencent Machine Learning Platform）
- 腾讯云人工智能（Tencent Artificial Intelligence）
- 腾讯云数据分析（Tencent Data Analysis）
- 腾讯云大数据（Tencent Big Data）
- 腾讯云云服务器（Tencent Cloud Virtual Machine）
- 腾讯云云数据库（Tencent Cloud Database）
- 腾讯云云存储（Tencent Cloud Object Storage）
- 腾讯云区块链（Tencent Blockchain）
- 腾讯云物联网（Tencent IoT）
- 腾讯云移动开发（Tencent Mobile Development）
- 腾讯云音视频处理（Tencent Cloud Media Processing）
- 腾讯云网络安全（Tencent Cloud Network Security）
- 腾讯云云原生应用（Tencent Cloud Native Application）
- 腾讯云元宇宙（Tencent Metaverse）
相关·内容
我在python中拆分数据集有一个问题，如果我有一个数据集的子集作为训练，python中是否有一些函数可以从数据集中排除训练集而直接获得剩余的数据集？就像这样： testing set = numpy.exclude(dataset , trainingset) 例如，数据集中有10行，我取了2,4,7,9行作为训练集，那么如何才能轻松地获得剩余的数据集呢？更详细地说，这些是我训练数据集 for i in range(0,5):
Test_data = dataset[ratio*i:ratio*(i+1),:]
Train_data = dataset[0:ratio*i&
浏览 13提问于2020-01-23得票数 1
回答已采纳
1回答
从培训集数据中排除项
、、、
我的数据有两个colors和excluded_colors。
colors包含所有的颜色，excluded_colors包含一些我希望从训练集中排除的颜色。
我试图将数据分割成一个训练和测试集，并确保excluded_colors中的颜色不是在我的训练集中，而是存在于测试集中。
为了达到上述目的，我做到了这一点。
var colors = spark.sql("""
select colors.*
from colors
LEFT JOIN excluded_colors
ON excluded_colors.color_id = colo
浏览 2提问于2016-11-15得票数 2
回答已采纳
3回答
分层参数的意义
、、
我正在训练一个神经网络，我试图把我的数据分成训练和测试集。我有很多输出类，对于其中一些类，我只有两个例子，所以在这种情况下，我希望在培训中有一个例子，在测试中有一个例子。据我所读，这是使用stratify参数，但分层意味着什么？
我把我的数据分成训练和测试：
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.1, random_state=42, stratify=y)
因此，根据我的理解，这分为两组:培训(数据的90%)和测试(数据的10%)，但确保每组至少有一个类？
浏览 0提问于2018-11-01得票数 7
回答已采纳
1回答
我对目标探测很陌生。我正在使用tensorflow对象检测API，现在我正在为我的项目和model_main.py收集数据集来训练我的模型。
我发现并转换了两个相当大的汽车和交通灯数据集，并给出了注释。从他们那里做了两张And记录。
现在我想训练一个经过预先训练的模特，但我只是好奇它会起作用吗？当图像(例如"001.jpg“)有可能有一些带有注释的汽车边框(来自汽车数据集)时，但是如果有交通灯，它也不会被标注为->，这会导致糟糕的学习速度吗？(可能有很多“有问题的”图像)我该如何改进？有什么解决办法吗？(我真的不想再给图像加注解了)
如果它愚蠢的问题，我很抱歉，感谢任何答复-一些
浏览 0提问于2019-02-17得票数 0
回答已采纳
1回答
我有一点问题，把我的头围绕在手头的任务或更多，所以最好的方法是做它。
采取一个样本项目：
UIDATA (Assembly)SERVICE (程序集)构建在DATA上
是将所有映射放入数据程序集中，还是将它们分离到服务程序集中？或者我是否应该/可以完全摆脱数据程序集？
这个问题源于在数据程序集中或实用程序集中有一个nHibernate静态助手类，然后从服务程序集引用该类等等。
工程参考方向
UI >数据/实用程序
数据/实用程序<服务
UI >服务
我是把事情搞得太复杂了，还是做错了？
注意：
我提到了Fluent，因为我知道您可以使用config.xml来引用程序集来映射，
浏览 6提问于2012-02-29得票数 0
回答已采纳
假设我在一个ML问题中有3个数据集。
train dataset：用于估计ML模型参数(培训)
test dataset：用于规避训练模型，计算训练模型的精度。
prediction dataset：仅用于模型部署后的预测
我没有evaluation dataset，我使用网格搜索和k折叠交叉验证来找到最好的模型。
另外，我有两个python脚本，如下所示：
train.py：用于训练和测试ML模型、负载训练和测试数据集，保存所训练的模型，通过网格搜索找到最佳模型。
predict.py：用于加载预先训练的模型和负荷预测数据集，预测模型输出和计算精度.
在开始train.py培训之前，我使用M
浏览 4提问于2020-07-01得票数 0
回答已采纳
2回答
因此，目前我的培训和测试集从669个特性开始，其中许多功能是分类的，需要一个热编码。
经过一次热编码后，我发现训练集有额外的功能.
我不太清楚如何处理这件事，但我觉得我有三个选择：
从培训集中删除这些功能，以便两者匹配。
将这些特性添加到测试集并生成合成数据。
在训练我的模型之前，使用一些降维技术(PCA)，并使用相同数量的组件进行训练和测试。
如有任何反馈，将不胜感激。
浏览 2提问于2017-10-13得票数 0
1回答
大家好)我正在开发股票预测的应用程序(大学项目)为了训练支持向量机模型，我需要将我的数据拆分成训练和测试集<code>D0</code>，我得到了X和Y双重集合，我需要拆分。在python中，我知道有一些函数可以轻松地将数据拆分为四个变量<code>D1</code>，但我在python中找不到这样的函数。在微软的官方网站上，我只找到了这个例子，但正如我前面提到的，它只接受一个变量，在我的例子中，支持向量机将无法正常工作。我听说过microsoft ML项目，但它只拆分了一个变量。我尝试过这个例子，但正如我前面提到的，它只接受一个验证值，并提供训
浏览 41提问于2020-11-21得票数 0
回答已采纳
我是python的新手，非常希望能得到一些帮助。
这是关于逻辑回归(机器学习)的，在训练算法之前我没有任何问题。
数据集如下：
cost_train数据帧包含目标变量、0和1二进制分类。
cost_train =..
(13900 observations)
cost_test =...
(5400 observations)
invoices_train =..
(6000000 observations)
invoices_test =...
(105000 observations)
因此，简而言之，不需要应用train_test_split。我的第一个想法是将其他3个数据帧与cost
浏览 0提问于2019-10-15得票数 0
我在这方面的知识很差，所以如果这是一个微不足道的问题，请向我道歉。
我需要训练一个模型，我有两个数据集:用于建立模型的训练数据和将模型应用于模型的评分数据。
一个重要的分类变量在列车数据中有200级，在评分数据中只有50级。事实上，他们只有20个等级。
那么，怎样才能正确处理这种情况呢？我应该把等级限制在水平的交集上，还是保持原样呢？打败了。
浏览 4提问于2016-08-10得票数 0
回答已采纳
我对机器学习非常陌生。我有一个关于对用于训练集的数据运行预测的问题。以下是详细信息:我取了我的初始数据集的一部分，并将其分为80% (训练)和20% (测试)。我在80%的训练集上训练了模型
model <- train(name ~ ., data = train.df, method = ...)
然后在20%的测试数据上运行模型：
predict(model, newdata = test.df, type = "prob")
现在，我想使用我训练的模型对初始数据集进行预测，该数据集也包括训练部分。我需要排除用于培训的那部分吗？
浏览 0提问于2017-05-11得票数 1
我对这一切都很陌生，我对这一过程的逻辑有一定的障碍。我正试图使用现有和已经流失客户的数据库来预测客户流失情况。到目前为止我已经
1)利用现有客户的完整客户数据库和已经流失的客户以及客户服务变量等进行预测。2)将数据集随机分为训练组和试验组，3)用R训练随机森林模型进行预测，然后用混淆矩阵与实际状态进行比较。
4)我使用测试数据运行了该模型，以检查识别搅拌人员的准确性。
我现在有点糊涂了。我现在想做的是把我们现在所有的客户都带走，并预测哪些客户会流失。我是否做错了，因为我需要预测的当前客户的很多，如果会已经看到模型，因为他们出现在培训集？
我是否应该使用训练和测试集，而不是我需要对其进行预测的数
浏览 2提问于2016-10-19得票数 0
回答已采纳
如果我们有一个包含以下元数据的数据集：Age、Gender、PersonId。
是否有一个Python库可以根据上面提到的所有三个元数据属性以及标签c将数据集划分为训练、开发和测试分区
浏览 1提问于2018-10-15得票数 0
我从一张图像中提取了两个边缘特征(Hog特征和sobel算子)。
如何在Scikit-learn python中创建图像特征数据集，如iris_dataset？在库中有表示数据集的csv文件。仅包含数字的csv文件。这些数字是如何生成的？特征提取？
不幸的是，我在这里只看到了一个java教程，...，在5点讨论如何生成训练矩阵(平均矩阵和协方差矩阵)？Scikit中有没有生成这些训练数组的函数？
浏览 1提问于2012-12-11得票数 0
回答已采纳
Problem: To generate Test and train to improve on Generalization error.可能的解决方案: 1.将实例分为训练80%和测试20%，在训练集上训练你的模型，在测试集上进行测试。但是，重复上述操作会让模型像在多个时间中一样填充数据，splits将选择第一次选择的测试集实例到列车集中(随机抽样)。
当我们获取更新的数据集时，上述方法可能会失败。另一种方法是选择每个实例的最稳定的特性/s(组合可以是)来创建唯一的、不变的标识符，即使在dataset updates.After选择一个标识符之后，该标识符仍将保持健壮，我们可以计算每个实
浏览 1提问于2017-05-17得票数 2
我对在训练阶段如何使用验证集感到困惑(像CNN这样的神经网络)？在Matlab或python(Keras)这样的平台中，我将数据集分为训练集、验证集和测试集。我知道验证集用于调优超参数(如神经元数目和学习速率)，假设使用SDG优化器，如何根据验证集进行调优？验证集是否只是给出了神经网络对不可见数据(验证集)表现的指示，然后基于此我手动设置了超参数？还是自动(优化器)调优超参数？
浏览 0提问于2020-07-19得票数 2
回答已采纳
因此，假设我有数据集A，B和C来训练一个模型。我目前的解决方案是从A、B、C随机抽取，然后从C开始。我想知道是否将所有数据集连在一起并进行洗牌以使训练更随意，是否会提高效果
浏览 3提问于2021-09-25得票数 0
回答已采纳
2回答
图像分类中的数据洗牌
、、、、
我想开发一个CNN模型来识别美国手语中的24个手语。我创建了一个自定义的，其中包含了每个手势的3000个图像，即整个数据集中的72000幅图像。
为了训练模型，我将使用80-20数据集分割(训练集中有2400幅图像/手部符号，验证集中有600幅图像/手部符号)。
我的问题是:在创建数据集时，应该随机地对图像进行洗牌吗？为什么？
根据我以前的经验，它导致验证损失低于训练损失，验证精度高于训练准确性。
浏览 3提问于2020-04-14得票数 1
回答已采纳
2回答
我已经将数据集(大约28K图像)划分为75%的训练集和25%的测试集。然后，我随机抽取了15%的培训集和15%的测试集来创建验证集。目标是将图像分为两类。精确的图像样本不能共享。但它和附件中的那个相似。我使用这个模型:带有imagenet权重的VGG19，最后两层，可训练的，以及4个密集的层。我还使用ImageDataGenerator来增强图像。对该模型进行了30个历次的训练，发现训练精度为95%，验证精度为96%，在测试数据集上训练后，仅下降到75%。
我已经尝试了正规化和辍学，以解决过度适应，如果它是痛苦。我还做了一件事，看看如果我使用测试集作为验证集并在同一个测试集上测试模型会发生什么
浏览 3提问于2019-01-16得票数 2
回答已采纳
1回答
我有一个算法，使用10倍交叉验证。在训练集中，我使用其中一个折叠来验证训练模型，然后再使用折叠上的学习模型进行测试。
我想创建一个学习曲线，这意味着我需要改变训练集的大小。这是否意味着我也会随着培训数据而改变验证集的大小？这是否意味着我也需要改变测试集的大小(除了训练和验证折叠之外)？
浏览 1提问于2015-04-15得票数 1
回答已采纳
1回答
我有一个带有非序数分类特征的数据集。在训练机器学习模型(线性SVC)之前，转换它们(编码+缩放)的最佳方法是什么？
我试过的事情：
标签编码-这是有效的。但是缩放没有意义，因为特性中的不同类别没有任何特定的顺序。
One--热编码--特性中有上千种独特的类别，这使得ML模型通过创建数千列而变得复杂。
计数编码--我的列车测试拆分--在训练集中并没有所有唯一的特性类别，当我对这些特性进行计数时，它会引入NaN在测试集中的特性。
感谢你的帮助！
浏览 0提问于2020-11-26得票数 0
我的神经网络在火把上的训练越来越快了。
我正在训练一个已知的数据集，该数据集分裂成训练和验证。我在训练期间整理数据，并在飞行中进行数据增强。
我有这些结果：
训练精度从80%开始并提高
列车损耗减少并保持稳定
验证精度从30%开始，但增长缓慢
验证损失增加
我要展示以下图表：
如何解释验证损失增加，验证精度increases?How在验证集和训练集之间有如此大的差异? 90%和40%?。
更新：
我平衡了数据集。这是二进制分类。现在它有1700个来自1级的例子，1200个来自2级的例子，总共有600个用于验证，2300个用于培训。我仍然看到类似的行为：
浏览 4提问于2020-04-21得票数 0
回答已采纳
5回答
我正在用两个独立的训练和测试集在python中建立一个预测模型。培训数据包含数字类型的分类变量，例如邮政编码，91521,23151,12355，.，以及字符串分类变量，例如，城市“芝加哥”，“纽约”，“洛杉矶”，.
为了训练数据，我首先使用“pd.get_dummies”来获取这些变量的虚拟变量，然后用转换后的训练数据对模型进行拟合。
我对我的测试数据进行同样的转换，并使用经过训练的模型来预测结果。但是，我得到了错误
ValueError: Number of features of the model must match the input. Model n_features is 1
浏览 13提问于2016-12-26得票数 47
2回答
我正在运行一个随机森林分类模型，最初将数据分为列车(80%)和测试(20%)。然而，这个预测有太多的假阳性，我认为这是因为训练数据中有太多的噪音，所以我决定用一种不同的方法来分割数据，下面是我是如何做到的。
由于我认为较高的假阳性是由于列车数据中的噪声所致，所以我使列车数据具有相同数量的目标变量。例如，如果我有10,000行的数据，目标变量是8,000 (0)和2,000 (1)，那么我的训练数据总共是4,000行，包括2,000 (0)和2,000 (1)行，这样训练数据现在就有了更多的信号。
当我尝试这种新的分割方法时，它通过将回忆阳性率从14 %提高到70%来更好地预测。
如果我在这里做
浏览 0提问于2016-07-28得票数 1
回答已采纳
1回答
您有没有尝试过在更快的rcnn中每个类的位置的影响？
如果我的训练数据总是在帧的一个区域中有一个对象类，比如在图像的右上角，而在评估数据集中，我有一个图像，这个对象位于另一个区域，左下，这个更快的RCNN是否能够处理这种情况？
或者，如果我想让我的网络找到所有帧区域中的所有类，我需要在涵盖所有区域的列车数据集中提供示例？
浏览 1提问于2017-10-17得票数 0
回答已采纳
1回答
所以我把自己搞糊涂了。
目前，我已经获得了大约800个实例的数据集。我将其拆分为训练集和验证集，因为缺少值，所以我使用sklearn中的SimpleImputer，并对训练集进行fit_transform-ed，然后对测试集进行转换。我这样做是因为如果我想预测新的实例，如果有缺失值，那么我需要用我估算测试集的方法来估算它。
现在我想使用交叉验证来训练和评分模型，但这将涉及到使用整个数据集并将其划分为不同的训练集和测试集，因此我担心由于拟合输入值而导致训练集中的泄漏？
浏览 30提问于2018-12-18得票数 3
我对python比较陌生，在尝试训练聊天机器人时，我收到了一个错误：“UnboundLocalError:赋值前引用的局部变量”日志“。我用model.fit训练：
model.fit(x_train, y_train, epochs=7)
我收到了一个错误：
UnboundLocalError Traceback (most recent call last)
<ipython-input-10-847c83704a3f> in <module>()
2 x_train,
3
浏览 4提问于2020-05-10得票数 15
回答已采纳
我是一个机器学习的新手，这是第一个挑战现实世界的ML任务之一。
一些实验数据包含512个独立的布尔特征和一个布尔结果。
在所提供的数据集中有大约1e6个真实的实验记录。
在一个经典的XOR示例中，所有4个可能的状态都需要训练NN。在我的例子中，它是唯一接近于零的2^(10-512) = 2^-505。
我没有关于数据性质的更多信息，只有这些(512 + 1) * 1e6位。
在可用数据上尝试了一个隐藏层的NN。训练后的神经网络对样本的输出，即使是训练集，也总是接近于0，而不是一个接近"1“的样本。玩权初始化，梯度下降学习率。
我的利用Python1.3，Python3.模型摘录：
wi
浏览 4提问于2017-10-20得票数 0
回答已采纳
MNIST数据集是包含60000个训练样本和10000个测试样本的手写图像，我只能使用数据集的一小部分--例如10000个用于培训，4000用于测试。我想知道我的结果是否与其他声称的结果相提并论。采用随机森林分类器进行10k训练和4k测试，准确率达93 %。当我使用60k的训练和10k的测试时，这个结果是否等同于。
在一些已发表的论文中，我读到他们每班只使用40张图片，并且用它们来评价它们的准确性和性能，这符合以60k作为训练和10k作为测试的标准。或者可以说，培训和测试数据的选择取决于分类方法。
浏览 0提问于2018-01-14得票数 0
1回答
不变化变量的Logistic回归
、、、、
关于常数变量和logistic回归的几个问题-
假设我有一个连续变量，但在整个数据集中只有一个值。我知道我应该消除这个变量，因为它不会带来任何预测值。不是手动对每个特性这样做，Logistic回归是否自动使这些变量的系数为0？
如果我在L1正则化的Logistic回归中使用这样的变量(只有一个值)，那么正则化会强制系数达到0吗？
类似地，如果我有一个分类变量，其中我有3个级别--第一级的范围是数据集的60%，第二层的跨度是35%，第三层的范围是5%)，我把它分成训练和测试，很有可能第三级可能不会在测试集中结束，从而导致我们有一个变量在测试集中有一个值，而在训练集中有另一个值。我如何
浏览 0提问于2016-03-14得票数 0
我用GA和反向传播训练了一个神经网络。GA为训练数据找到合适的权重，但在测试数据上表现不佳。如果我用BackPropagation训练NN，它在测试数据上的表现要好得多，即使训练误差并不比GA训练的版本小很多。即使我使用GA获得的权重作为反向传播的初始权重，NN在测试数据上的表现也比仅使用反向传播进行训练更差。有没有人能告诉我，我可能在哪里犯了错？
浏览 3提问于2017-08-24得票数 0
1回答
当处理不平衡的阶级，哪个更好，
过抽样/过抽样的类别或
从训练数据集中随机选取相同数目的正样本和负样本，结合训练样本，将不平衡分类问题转化为多个平衡数据分类问题。
他们中的一个比另一个有优势吗？如果是，是哪一个？我要求的是一个广义的观点。如果您有一个不平衡的数据集，您会选择哪个选项，1还是2？
浏览 0提问于2018-07-20得票数 0
回答已采纳
1回答
我使用R中的rpart包从训练数据构建了一个决策树。现在我有了更多的数据，我想根据树检查它以检查模型。在逻辑上/迭代上，我想要做以下事情：
for each datapoint in new data
run point thru decision tree, branching as appropriate
examine how tree classifies the data point
determine if the datapoint is a true positive or false positive
我如何在R中做到这一点呢？
浏览 1提问于2013-10-28得票数 3
回答已采纳
1回答
我正在使用Tensorflow的对象检测API训练一个神经网络来检测汽车。我使用了下面的youtube视频来学习和执行这个过程。
他的系列文章的第一部分到第六部分。
现在在他的视频中，他提到当平均损失值达到~1或更低时停止训练，这将需要大约10000步。
在我的例子中，现在是7500步，损失值一直在0.6到1.3之间波动。
很多人在评论区抱怨这个系列的假阳性，但我认为这是因为不必要的长时间训练(因为他们不知道什么时候该停止?)这导致了过度拟合！
我想避免这个问题。我希望不是最优的权重，而是相当最佳的权重，同时避免错误检测或过拟合。我也在观察Tensorboard的“完全损失”部分。它在0.8
浏览 15提问于2018-08-23得票数 1
回答已采纳
1回答
我已经下载了一个包含10个类对象的数据集，用于对象检测。数据集不分为培训、验证和测试。然而，作者在论文中提到，将数据集划分为20%的训练，20%的验证，60%的测试和图像是随机选择的。
按照作者所说的标准，我随机选择了20%的图像进行训练，20%的图像进行验证，60%的图像进行测试。
我想知道几件事
1)我是否需要在训练集、验证集或测试集中放置困难的图像？例如，目前在测试集中有41幅困难图像，在训练集中有30幅，在验证集中有20幅。
2)如何确保所有10个对象类都是均匀分布的？
更新的
3)理想情况下，为了平衡分割困难的图像应该是均匀分布的？如果测试难度更大，或者培训更困难，或者验证更困难，那
浏览 5提问于2016-11-26得票数 0
回答已采纳
我正在使用GCP的Natural Language AutoML实体提取服务构建一个训练数据集。我有我的文档的一小部分标签，我想导出它们以进行一些初步的探索性数据分析。我可以添加一个过滤器来显示“带标签的”文档，但是如果我尝试导出，它会导出我的所有文档。
有没有办法只导出那些符合过滤条件的文件？通过Python API也可以。
浏览 5提问于2020-10-14得票数 0
我试着训练速度更快的train来检测单个类的多个实例(例如。但训练数据包含200幅图像，其中每幅图像只有一个标记对象。这个模型是检测一个物体，但概率很低。模型是否试图找到类的单个实例，但却感到困惑？
模型名称:更快的RCNN初始v2
📷
为什么当缩小距离时，模型会更有效地检测对象？
📷
在训练过程中有什么不对劲吗？
浏览 0提问于2019-07-19得票数 0
我是一个新的人在NLP和我尝试做文本分类工作。在做这个工作之前，我知道我们应该做单词嵌入。我的问题是，我应该只在训练数据(使测试数据只从训练前的vec训练数据模型获得向量)上做单词嵌入工作，还是同时对训练数据和测试数据进行嵌入工作？
浏览 2提问于2016-05-22得票数 0
回答已采纳
1回答
这是家务活。
我有两个矩阵，一个用于训练，一个用于测试。该数据有两列数据，用于分类，第三列为已知类。两个矩阵都有第三列。
[1] [2] [3]
[1] 6.4 0.32 2
[2] 4.8 0.34 0
[3] 4.9 0.25 2
[4] 7.2 0.32 1
其中的中间格是类(从0-2)。
我的数据集的维度是训练集的100 3，测试集的38 3。
我尝试使用类库的knn()函数。
knn使用下列参数：(train，test，cl，k= 1，l= 0，prob = FALSE，use.all = TRUE)
我尝试直接使用我的数据集，但是我得到了一个错误：“‘火车’和‘班次’有不同
浏览 0提问于2015-02-16得票数 1
回答已采纳
2回答
我了解如何使用WEKA，我首先将arff加载到创建Instances的程序中。然后，这些数据将被提供给已在此数据集上训练的Classifier。现在，我想给它一个没有标签的新测试数据集，并让WEKA API告诉我该实例的标签是什么或可能是什么。这是怎么做到的呢？
浏览 0提问于2012-04-20得票数 0
回答已采纳
1回答
我想将theano中的convolutional_mlp应用于我自己的数据集。但是CNN不能很好地工作在我的数据集上，我找不到原因。在下面，我将详细描述我的数据集，有人可以帮助我吗？非常感谢！
数据集:我的目标是使用CNN将我的图像(大小为28*28 = 784)分为两种类型，0和1。我的原始数据是csv文件，datax.csv和datay.csv。在datax.csv中，每行存储每个图像的每个像素的灰度值，在datay.csv中，每行是每个图像的标签。datax.csv (1000行，784列)
datay.csv (1000行)
0;1;1;0;1;0;1;1;1;0;1....
浏览 3提问于2016-01-08得票数 1
我已经研究过常用的机器学习预处理方法，但我无法解决以下具体问题。
我将“通常”的建模准备(虚拟变量、归一化、PCA等，当然是在必要的情况下)应用于训练数据。到现在为止还好。但是，当我得到被分类的新数据来预测上面构建的模型时，很明显，我也必须将这些准备步骤应用到这个新的数据集中。
问题出现在这里，因为如果我再次为我的新数据应用准备步骤，这些步骤没有考虑到培训数据的特点。因此，如果我将新的数据因子转换成虚拟数据，那么它只考虑到新数据中现有的因子水平；如果我min-max对新数据进行规范化，它将根据自己的min-max值进行规范化，而忽略了训练数据中的值；如果使用PCA，则来自新数据的结果组件将完全
浏览 0提问于2016-10-12得票数 1
我有一个python格式的dataframe，如下所示：
data labels group
aa 1 x
bb 1 x
cc 2 y
dd 1 y
ee 3 y
ff 3 x
gg 3 z
hh 1 z
ii 2 z
对于训练集和测试集，可以直接随机分为70:30。在这里，我需要分成测试和训练，以便每个group中
浏览 0提问于2018-11-08得票数 0
1回答
我正在使用TensorFlow来实现对象识别。我遵循本教程，但使用我自己的数据集。
我用212份阳性样本和120份阴性样本进行训练。该测试集包含100份阳性样本和20份阴性样本。训练精度仅为32.15%，测试精度为83.19%。
我想知道是什么使考试的精度比训练的精度高，我的数据集是不是不够大？数据不显示任何统计意义？或者这是一件普通的事情，因为我看到一些人说训练的精确性没有任何意义。但这是为什么？
浏览 2提问于2016-06-01得票数 0
1回答
机器学习-图像的特征设计
、、、、
我最近刚刚开始学习机器学习，我有一个项目，我必须开发一个二维码本地化程序，以便在任何旋转角度都可以检测和读取二维码。开发将在Python中完成。
该计划是在不同的背景下从不同的角度收集二维码的各种图像。因此，我想创建一个用于神经网络训练的数据集，然后进行测试。
我遇到的问题是，我似乎无法弄清楚数据集的正确特征设计，以及如何从图像中识别二维码以进行特征处理。我会使用地面真实图像来隔离二维码或边缘幅度图吗？图像的功能设计似乎把我搞糊涂了。
如果能帮上忙那就太棒了？耽误您时间，实在对不起。
浏览 2提问于2016-05-15得票数 2
1回答
矩阵分解协同过滤中测试集的预测
、、、、
假设我有这样的df
userId movieId rating
0 1 31 1
1 1 34 5
2 1 742 2
3 1 1013 4
4 2 31 1
...
我使用分层抽样来使同一用户在两个列车/测试集中保持一致。
在训练数据集时，我通常会初始化用户和电影的嵌入矩阵，并尝试使用SGD学习。
在两个矩阵学习后，如P，Q.我采用dot_produc
浏览 12提问于2022-05-16得票数 0
1回答
我正在进行卫星数据方面的培训。由于数据中的类分布极不均衡，因此本文采用随机多数欠采样的方法对神经网络进行训练，人为地平衡了每个班的训练样本数。在验证过程中，我不以任何方式对数据进行重采样。
📷
📷
在上面的图表中，橙色是训练的表现，蓝色是验证。验证精度和损失值比训练精度和损失大得多。即使训练正确率在90%左右，验证精度在某一时间点甚至达到0.2%。为什么验证指标波动得很厉害，而训练指标却保持相当恒定？
关于模型/数据的一些补充资料：
我用U网模型将卫星图像分割成三个土地覆盖类别。与原论文相比，U网模型在每一层的滤波器数只有原来的一半，在每次卷积后和激活之前，我都采用批归一化。该模型使用带有初始
浏览 0提问于2020-08-31得票数 1
1回答
我正在尝试使用weka对垃圾邮件和非垃圾邮件进行分类。
将上百条数以千计的标记垃圾邮件和另外100条数千条标记的非垃圾邮件作为训练数据集，我使用stringtowordvector作为过滤器来训练分类器。crossValidateModel的结果是非常good.But的，我想使用一个独立的测试集来评估分类器，以确保从训练集中对任何其他msg进行分类是可靠的。
我的问题是：
我还必须在测试数据集上使用stringtowordvector，以创建一个独立的.arff文件，该文件独立于训练arff file.The，在这两个.arff文件中，两个数据集中出现的同一个词分别具有两个不同的属性索引。例如
浏览 3提问于2012-08-30得票数 0
2回答
转换净节省权重和新测试集
、、、
我正在使用conv net进行图像分类。
有件事我理论上不明白
为了进行培训，我将我的数据拆分为60%训练/20%验证/20%测试
当验证集上的度量最好时，我会节省权重(我在训练集和验证集上的性能相同)。
现在，我做一个新的拆分。训练集中的一些数据将会出现在测试集中。我加载权重并对新的测试集进行分类。
由于已经在新测试集的一部分上计算了权重，我们是否同意说这是一个糟糕的过程，我应该用新的训练/验证集重新训练我的模型？
浏览 2提问于2019-06-06得票数 0
1回答
罕见事件训练后支持向量机性能差
、、、、
我发现加权支持向量机是一种处理类不平衡问题的分类方法。我的数据集与罕见事件(标记为1的少数类)和多数类(标签为0)高度不平衡。因此，我用分层交叉验证技术实现了监督分类加权svm技术，因为这些技术能够处理类的不平衡。我为C参数(boxconstraint)添加了额外的调优。训练采用5倍交叉验证方法进行.该方法在训练集上效果良好。我在训练后表现很好。这我可以说是因为通过观察训练后的混乱矩阵。
cmMatrix =
1443 27
0 30
一般建议使用优化的超参数进行再训练.因此，我在整个数据集上再次运行了经过训练的模型(重
浏览 0提问于2018-07-11得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
