如何在Flux.jl中将自定义数据集拆分为训练数据集和测试数据集？
在Flux.jl中，可以使用train_test_split函数将自定义数据集拆分为训练数据集和测试数据集。该函数可以从MLDataUtils包中导入。
以下是一个示例代码，展示了如何使用train_test_split函数拆分数据集：
using Flux
using MLDataUtils
# 假设你有一个自定义的数据集X和对应的标签y
# 将数据集和标签合并为一个元组数组
data = [(x, y) for (x, y) in zip(X, y)]
# 设置拆分比例
train_ratio = 0.8 # 训练数据集占总数据集的比例
# 使用train_test_split函数拆分数据集
train_data, test_data = train_test_split(data, train_ratio)
# train_data为拆分后的训练数据集，test_data为拆分后的测试数据集在上述代码中，首先将自定义的数据集X和对应的标签y合并为一个元组数组data。然后，通过调用train_test_split函数，传入data和train_ratio参数，将数据集拆分为训练数据集train_data和测试数据集test_data。
需要注意的是，train_test_split函数返回的是拆分后的数据集的索引，而不是实际的数据集。如果需要获取实际的数据集，可以通过索引从原始数据集中提取。
关于Flux.jl和MLDataUtils包的更多信息，可以参考以下链接：
- Flux.jl官方文档：https://fluxml.ai/Flux.jl/stable/
- MLDataUtils包的GitHub页面：https://github.com/JuliaML/MLDataUtils.jl
相关·内容
在Kaggle比赛中，我们有一个训练和测试数据集。因此，我们通常在训练数据集上开发一个模型，并使用该算法所看不到的测试数据集对其进行评估。我想知道，如果只给我们一个数据集而没有任何测试数据集，那么验证回归问题的最佳方法是什么。我认为可能有两种方法：
在第一步中，在导入数据集之后，将其转换为训练和测试数据集，使用这种方法，算法直到最后一步才能看到测试集。经过预处理和特征工程，我们可以在训练数据集上使用交叉验证技术，或者使用训练测试分割来提高模型的误差。最后，模型的质量可以通过看不见的数据进行检验。
也看到，对于回归问题，一些数据科学家使用整个数据集进行测试和验证，我的意思是他们同时使用所有的数据
浏览 1提问于2020-09-04得票数 0
我在时间序列数据上使用了一个分类模型，在将数据分解为训练和测试之前，我对数据进行规范化。现在，我知道训练数据和测试数据应该分开处理，以防止数据泄漏。在这里，规范化步骤的正确顺序是什么？我是否应该分别应用步骤1、2、3来训练和测试使用滑动窗口分割数据后的数据？我在这里使用一个滑动窗口来比较每一个小时(测试)和它之前的24小时数据(火车)。这是我目前在管道中使用的命令。
使用滑动窗口(长度为24小时(列车)和每1小时(测试)一次)将每个hourStandardizationSplit数据放入列车并进行测试，适合使用列车数据预测使用测试数据的模型。
浏览 0提问于2020-07-04得票数 1
回答已采纳
我试图了解测试数据集是否可以用来选择一个经过训练的最终模型。让我们假设这个场景：
我首先分割了整个数据集: 70%的训练，30%的测试。然后我拟合了几个模型(假设NN，RandomForest，AdaBoost，.)在训练数据集上进行交叉验证，对超参数进行调优，以获得最佳的列车数据性能。我知道这些分数是有偏见的，因为我调整了这些数据上的超参数。
然后，使用测试数据集来获得对无偏数据的真实性能，并选择哪个模型的性能最好。
这是使用测试数据集的正确方式吗？一些混淆来自于测试数据集的internet定义：
用于对最终模型进行无偏评估的数据样本，适合于培训数据集。
似乎它应该只用于获得一个最后训练的模
浏览 0提问于2018-12-27得票数 2
回答已采纳
我在这里看到一个悖论。如果我们使用训练/测试分割并评估我们的测试数据，我们可能会得到一个很好的分数，但是任何进一步的预测都是不可信的，因为模型没有训练测试数据并将它的序列包含在内存中。
另一方面，我们可以将列车和测试序列上的数据训练为列车数据，但由于没有测试参考，因此无法评估我们的预测。
如何正确预测LSTM模型？
浏览 0提问于2018-05-05得票数 1
我正在尝试使用RandomizedSearchCV将我的模型从单次运行转移到超参数调优。
在我的单次运行案例中，我的数据被分成了训练/验证/测试数据。
当我使用默认的3折CV在我的train_data上运行RandomizedSearchCV时，我注意到我的train_input的长度减少到了train_data的66% (这在3折CV中是有意义的...)。
因此，我猜我应该将初始训练集和验证集合并到一个更大的训练集中，并让RandomizedSearchCV将其拆分为训练集和验证集。
这是正确的方法吗？
我的问题是:我如何访问剩余的33%的train_input以将其提供给我的验证准确性测试
浏览 6提问于2018-02-10得票数 0
回答已采纳
1回答
我正在努力学习NLP。我理解从文本预处理到td-以色列国防军和字嵌入的基本概念.我如何应用这一学习？我有两个列的数据集:答案和性别。我想用NLP将答案列转换成向量，然后使用监督机器学习来训练一个模型，预测某一类型的答案是由男性还是女性给出的。我不知道如何处理后，我Pre_processed文本。
浏览 3提问于2022-02-04得票数 0
我有一个包含699行和11个属性(包括class属性)的癌症数据集。如何将数据集划分为训练数据集和测试数据集？我知道下面的事情。它们是真的吗？(1)选择初始150行用于测试，剩余549行用于训练(2)选择初始549行用于训练，剩余150行用于测试
此外，我是否需要在两个数据集中都包含类属性？是否还需要另一个称为“验证数据集”的数据集？我正在使用SVM进行分类
浏览 3提问于2016-07-01得票数 0
2回答
训练神经网络时的标准设置似乎是将数据分割成训练集和测试集，并一直运行到测试集上的分数停止提高为止。现在，问题是:测试分数中存在一定数量的噪声，因此单个最佳分数可能不符合网络状态，而网络状态最有可能是新数据上的最佳状态。
我见过一些论文指出训练中的一个特定时代或迭代是“交叉验证最好的”，但我不知道这是如何确定的(论文没有提供任何细节)。“交叉验证的最佳”点不是有最好的测试分数的点。
如何进行这种类型的交叉验证？会不会是在测试集上做k折叠？好吧，这给了k个不同的测试分数，而不是一个，然后呢？
浏览 0提问于2016-04-09得票数 6
回答已采纳
基本上，我想把我的数据集分成训练、测试和验证集。因此，我已经使用了两次train_test_split函数。我有一个大约一千万行的数据集。
在第一次分裂中，我将训练和测试数据集分成7,000万次培训和3,000万次测试。现在，为了获得验证集，我有点困惑，是使用分割测试数据还是使用训练数据作为列车测试拆分的输入参数，以获得验证集。给点建议。提亚
X = features
y = target
# dividing X, y into train and test and validation data 70% training dataset with 15% testing and 15
浏览 2提问于2019-05-12得票数 0
回答已采纳
1回答
这是一个r中的随机森林模型。这是一个基于拉德布鲁克赔率的足球预测模型。它预测比赛的全时结果(FTR)。
zmodel <- randomForest(traindata$FTR ~ traindata$LBH + traindata$LBD + traindata$LBA)
我尝试使用以下命令对列车数据本身进行预测
predict(zmodel,newdata = traindata)
然后，我对一个新的测试数据进行了预测。
predict(zmodel,newdata = testdata)
虽然测试数据和训练数据不同，但我得到了相同的预测结果。我做错了什么？
是否有可能对与列车数
浏览 9提问于2018-01-01得票数 1
回答已采纳
3回答
我将评估我建立的分类模型。这就是逻辑回归和决策。
我用什么标准来比较？
假设模型选择的标准是ASE。训练数据ASE高，测试数据ASE低，训练数据ASE低，测试数据ASE高。如果您选择一个模型，您会选择哪些模型？
浏览 0提问于2018-06-02得票数 1
回答已采纳
当数据集的一个特征是整个数据池的汇总统计数据时，将训练数据包括在测试数据中以计算用于验证的特征是一种良好的实践吗？
例如，假设我有1000个数据点，分为800个训练条目和200个用于验证的条目。我用800个条目创建了一个特征，用于训练等级四分位数(也可以是任何东西)，它的数字为0-3，即其他特征所在的四分位数。因此，在训练集中，每个四分位数中将有200个数据点。
一旦您训练了模型并需要为验证集重新计算特征，a)您是否使用已经设置的四分位数障碍，即200个验证条目可能具有不同于50-50-50-50的四分位数分割，或者b)您是否使用所有1000个条目重新计算四分位数，以便有一个新的四分位数排名特
浏览 15提问于2020-02-13得票数 0
回答已采纳
3回答
此场景的文本分类技术
、、、
我对机器学习算法完全陌生，我有一个关于数据集分类的快速问题。
目前有一个由两列消息和标识符组成的培训数据。
消息--从包含时间戳和一些文本标识符的日志中提取的典型消息--应该根据消息内容对类别进行分类。
培训数据是通过从工具中提取特定类别并相应地加上标签来编制的。
现在，测试数据只包含消息，我正试图获得相应的分类。
在这种情况下，哪种方法最有帮助？是监督学习还是非监督学习？
我有一个经过训练的数据集，我正试图预测测试数据的类别。
谢谢你，亚当
浏览 4提问于2017-08-30得票数 0
回答已采纳
我想做交叉验证。因此，我是否应该将我的数据分成训练和使用sklearn train_test_split进行测试，并使用这样的交叉验证：
cross_validate(model, X_train, y_train, scoring = roc_auc, cv = 5, n_jobs = -1)
或者，我是否应该创建一个函数，并将数据在每个折叠中以不同的方式拆分，如下所示：
def cross_val_evaluation(model):
kf = KFold(n_splits=5)
for train_index, test_index in kf.split(X,y):
浏览 0提问于2023-01-15得票数 1
回答已采纳
Keras OCR示例演示了一个使用堆叠的CNN和RNN开发的非常简单的OCR系统。但是在训练之后如何使用训练好的模型来预测结果呢？
浏览 0提问于2017-09-28得票数 2
我有一个独立的训练和测试数据(从不同的CSV加载到不同的pandas数据框中)，我想用这些训练和测试数据绘制学习曲线，而不是使用交叉验证从训练集本身生成训练和测试数据(这似乎是learning_curve的常见工作方式)。
似乎scikit希望你的测试和训练数据出现在同一个Dataframe中，但这样分类器也会学习测试数据，这不是我想要的。
我该如何着手解决这个问题呢？我是第一次接触科学工具包。
浏览 3提问于2015-09-20得票数 2
我从mnist数据集得到数据集，
train_images = train_images.astype("float32")/255.0
test_images = test_images.astype("float32")/255.0
network.fit(train_images, train_labels, batch_size = 64, epochs = 10, verbose =2)
network.evaluate(test_images,test_labels, batch_size = 64, verbose=2)
我在训练中犯了这个错误
浏览 6提问于2022-03-12得票数 0
在训练和测试了一个数据集之后，我想让它预测某个只有特征的数据集的标签。在我使用的普通示例中
预测=clf.predict(数据)
但由于我正在处理的数据需要编码，所以在一次热编码后，它导致列大小为2891。那么，现在如何检查尚未编码的新功能的标签？
浏览 0提问于2018-07-15得票数 0
2回答
当预训练深度学习模型(假设是深度卷积神经网络)以实现良好的权重初始化时，我是使用整个训练集而不进行验证(以避免信息泄漏)，还是只使用训练集的子集？
浏览 24提问于2020-07-07得票数 0
回答已采纳
1回答
我在许多不同的来源中看到，我需要将我的数据分成一个训练集和一个测试集。然后，我必须确保算法只对训练数据进行训练，并尽量避免测试数据泄漏到训练过程中。
为了避免学习不重要的数据细节(这将提高算法的泛化能力)，我可以将训练数据进一步分割成适当的训练集和验证集，并选择算法的参数，为所有这些分割提供最佳的平均性能。
最后，我在测试集上对我的算法进行了评估，得到了一些数字: MSE，RMSE，等等。但是这些数字是否真的表明，我的算法有多好，并且它们不受测试集的影响？
当然，我没有在训练期间使用我的测试数据，但是我得到的算法参数只对这种分割成训练和测试集的参数有效。如果我以不同的方式分割数据，我将得到不同
浏览 0提问于2020-01-23得票数 1
回答已采纳
我是python中相对较新的数据科学，在探索一些关于数据科学的竞争时，我对“训练数据集”和“测试数据集”感到困惑。一些项目合并了这两个项目，另一些项目则保持分离。拥有两个数据集的基本原理是什么？任何建议都将是有益的，谢谢
浏览 1提问于2017-04-25得票数 0
我想提供多类图像数据集，在数据集的主文件夹中，我有15个不同名称的文件夹，我想使用文件夹名作为标签。例如，一个文件夹名是飞机，包含图像(1245图像)，另一个文件夹名是Cars，包含汽车图像(997)，同样，每个文件夹有不同数量的图像。现在我想加载它们来训练我的模型并测试它，但是我没有单独的文件夹来进行培训和测试。我想使用文件夹名称作为标签，也希望将数据集分割成同等比例的培训和测试。您的指导，在这种情况下，将不胜感激。谢谢
浏览 4提问于2020-01-05得票数 0
2回答
我正在使用R中的C5.0在心脏病数据集上做一些分类任务，在大多数情况下，数据将被分成80%用于训练，20%用于测试，我想使用k倍交叉验证(k=10)，但我对这一点感到困惑，正如我们所知道的那样，通过使用10倍交叉验证，我们将整个数据划分为9个训练子集和一个子集进行测试。
是否可以将数据划分为训练数据的80%和测试数据的20%，然后对列车数据进行k倍交叉验证？或者我必须对整个数据集应用k-折叠交叉验证？
浏览 0提问于2017-11-20得票数 3
我正在从事一个数据科学项目，该项目是一个预测进口产品是否伪造的模型。我有一个训练数据库，我的模型之一达到了92-93%的准确率，但是在51%的测试数据库中，它的准确率只有83-85%。
另一方面，经过几次修改，我在训练数据库中获得了大约90%的准确率，但在测试数据库中获得了91%左右的准确率。
早些时候，我担心我可能会得到一个更高的精度，因为我可能是过分适应，但现在我担心，因为我的测试集的准确性高于我的火车组(不应该是这样)。有人能帮我解释一下我在这件事上应该采取什么措施吗?这里可能发生什么事？因为我只能提交最后一个模型。
在这两种情况下，我使用的分类器都是相同的(KNN和GridSearch
浏览 13提问于2022-06-05得票数 0
在使用SVM时，我发现对原始数据集执行三向拆分是一种很好的做法，类似于70/15/15的拆分。
这种分割将对应于%70用于培训，%15用于测试，%15对应于所谓的“验证”。
我很清楚为什么这是一个很好的实践，但我不确定实际执行这一操作所需的具体细节。很多在线资源讨论了这个过程的重要性，但是我似乎找不到对这个过程的明确描述(或者至少是算法描述)。例如，sklearn讨论了，但在提供任何可靠的工具之前就停止了。
我的想法是：
使用训练集训练算法
使用测试集查找错误率
?？调整参数
再次获取错误率，使用验证集
如果有人能给我指明一个好资源的方向，我会很感激的。
浏览 1提问于2014-01-26得票数 3
我正在尝试通过Jigsaw有毒数据集的XLnet。
当我训练我的数据时
input_ids = d["input_ids"].reshape(4,512).to(device) # batch size x seq length
它训练得很完美。但是，当我尝试用同样的方式重新塑造input_ids的测试数据来测试模型时，它会生成一个运行时错误：
shape '[4, 512]' is invalid for input of size 1024
这是我用来训练的方法：
def train_epoch(model, data_loader, optimizer,
浏览 4提问于2021-08-06得票数 0
回答已采纳
2回答
我有一个sql.DataFrame，我想将它与scala分割成训练和测试数据格式。我现在正在使用这个代码：
val Array(trainingData, testData) = data.randomSplit(Array(0.7, 0.3))
但是我不想随机地分割我的数据。我想要的是把它的前70%作为火车，其余的作为测试。做这件事最好的方法是什么？
浏览 1提问于2020-06-05得票数 0
回答已采纳
我想知道一个模型是否也是从测试数据中训练自己，同时对它进行多次评估，从而导致了一个过度拟合的场景。通常，我们将训练数据分成train-test分割，我注意到有些人将它分成3组数据-- train、test和eval。eval是对模型的最终评价。我可能错了，但我的观点是，如果上面提到的场景不是真的，那么就不需要eval数据集。
需要澄清一下。
浏览 5提问于2018-01-03得票数 1
回答已采纳
2回答
如果没有因变量，如何用Python编程语言将数据集(CSV)分割成训练和测试数据？
我目前正在从事的项目是基于机器学习的，数据集不包含任何依赖数据。只有当数据集包含依赖数据时，以下代码才能工作-
from sklearn.model_selection import train_test_split
xTrain, xTest, yTrain, yTest = train_test_split(x, y, test_size = 0.2, random_state = 0)
我期望在没有任何y变量的情况下进行拆分。有可能吗？
浏览 1提问于2019-02-06得票数 1
回答已采纳
2回答
我使用的基因表达数据，是浮动数字，并希望训练分类器考虑到二进制分类。由于我是这个领域的新手，我有一些问题：
我使用的第一个分类器是SVM。我正在使用sklearn工具，它需要在培训和测试数据集中分离数据集。据我所知，为了构建模型，需要将数据集中的数据集和验证数据集(找到模型的参数)分开，而对于超参数的微调，则需要一个测试数据集。有趣的是，考虑到我在查看sklearn文档时发现的情况，建议只对火车和测试数据集进行分割。验证数据集上没有断言。因此，我怀疑，我是否正确地运行分类器。
下面是我使用的代码：
from sklearn.model_selection import train_tes
浏览 0提问于2021-06-10得票数 1
我当时正在阅读深度学习书，并看到了以下段落(第109页，第2段)：
训练和测试数据是通过数据集上的概率分布(称为数据生成过程)生成的。我们通常会做出一套统称为i.i.d的假设。假设。这些假设是，每个数据集中的示例是相互独立的，训练集和测试集是相同分布的，它们是从相同的概率分布中提取的。这个假设使我们能够描述在单个example.The上具有概率分布的数据生成过程，然后使用相同的分布来生成每个火车示例和每个测试示例。我们把这个共享的底层分发称为数据生成分发，表示为p_{\text{data}}。这个概率框架和i.i.d。假设条件使我们能够从数学上研究训练误差与测试误差之间的关系。
有谁能给我解释
浏览 0提问于2017-12-26得票数 6
我想将我的数据集随机分成训练数据和测试数据，以便在java中进行朴素贝叶斯分类。我知道，我有一个选择来使用weka，但我不想使用外部库。我在使用java时还有什么其他的可能性？
浏览 12提问于2017-12-13得票数 0
这个问题很简单。
在叠加中，0级模型的预测被用作训练1级模型的特征。
然而，预测什么数据呢？直观地说，预测测试集并利用这些结果训练最终的分类器更有意义。
我不确定这是否会导致数据泄漏，我不认为这会导致数据泄漏(因为最终的分类器只有初始分类器所具有的信息，即。只是从火车的数据-它不知道这些预测是好还是坏)。
这个推理正确吗？
浏览 0提问于2022-09-26得票数 2
回答已采纳
我正在使用比利时交通标志数据集在MATLAB中编写交通标志识别代码。数据集由培训数据和测试数据组成。
我使用VL_HOG函数从VL_feat库中调整给定图像的大小并提取HOG特征，然后使用训练数据集中的所有标记训练多类支持向量机。
我特别感兴趣的是探测到8个信号。问题1:我是否应该只使用这8个符号的训练集来训练模型，还是用整个训练数据集来训练模型，而忽略我在检测阶段不感兴趣的迹象？
在训练多类支持向量机时，我想利用测试数据测试分类器的性能.问题2:有人能指导我如何做到这一点吗？我发现了一些与我正在寻找的可用这里类似的东西。如果我能获得定量数据，如百分比形式的混淆矩阵，那就太好了。
谢谢!
浏览 0提问于2018-05-14得票数 0
我知道你应该把你的训练数据和测试数据分开，但是当你用你的模型进行预测时，你可以使用整个数据集吗？
我假设分离您的训练和测试数据对于评估不同模型的准确性和预测强度是很有价值的，但是一旦您选择了一个模型，我想不出使用完整数据集进行预测有什么坏处。
浏览 4提问于2016-09-20得票数 2
2回答
如何正确处理培训/测试集的生成？我正在做几个实验来测试我的神经网络模型的泛化能力，所以在所有实验中，我的测试集都不同于我的训练集(例如，在一个实验中，训练集和测试集之间的句子结构是相同的，而在训练集中我使用一组单词，在测试集中使用另一组单词)。因此，我的问题是:为了能够比较实验之间的准确性，我是否必须在实验之间保持相似的训练集/测试集的大小？我应该只确保训练集的大小总是相似的还是测试集的大小？在一个实验中，我有一个大小为29160的数据集，它是我为训练而生成的，而在其他实验中，我有更大的数据集(有时是122472大小的数据集)，所以在第一个实验中，我应该使用整个数据集，并从其他实验中的其他较大
浏览 0提问于2021-07-08得票数 1
我正在使用Weka gui在数据集上训练支持向量机分类器(使用libSVM)。.arff文件中的数据为
@relation Expandtext
@attribute message string
@attribute Class {positive, negative, objective}
@data
我使用String-to-Word Vector将其转换为一袋单词，运行SVM并获得不错的分类率。现在我有了我的测试数据，我想要预测他们的标签，我不知道。同样，它的头信息是相同的，但对于每个类，它都标有一个问号(?)即
'Musical awareness: Great Big
浏览 2提问于2013-03-16得票数 1
回答已采纳
1回答
因此，我理解，当您有良好的精度，例如，训练数据集和测试数据集的一个坏的准确性，但为什么我甚至要检查训练数据集的准确性？如果我在测试数据集上有很好的准确性，这意味着我很有可能不会过度适应，对吗？(假设我们确保模型没有对任何测试数据进行训练)
我还有另一个问题:使用SMOTE的过度采样是否会导致过度拟合(测试数据集的准确性很高，但在现实中却是过度拟合？)斯马特画了一条线，并在上面画出新的点，这样它就不会重复数据。
浏览 0提问于2022-12-30得票数 0
回答已采纳
我目前正在研究我的第一个机器学习模型( Penguins数据集)。我将训练三种机器学习模型，每个模型使用不同的模型结构(决策树、随机森林和梯度提升)，并相互比较。我知道，在我的特殊情况下，如果我想比较三种不同型号的精度，测试/列车分割将是必要的。但是，是否总是需要将数据集划分为训练集和测试集？
让我们以随机森林算法为例--我们可以使用OOB评分来评估我们的模型，并在不执行训练/测试分割的情况下执行实际的测试。由于我们的训练集中已经有一堆样本不会实际用于训练，所以我认为使用它们进行测试是个好主意，而不是通过显式地将训练集分割成训练/测试集来减少训练集。我认为，当我们拥有小型数据集(例如Palme
浏览 0提问于2021-12-15得票数 1
1回答
我对交叉验证的理解是，我们将数据集划分为第1-k部分，然后使用第1部分作为验证集，第2-k部分作为培训集，然后使用第2部分作为验证集，其余部分作为培训集等等，直到我们使用每个部分作为验证集。
我不完全明白的是：
这里的实际目标是什么？我知道我们平均要做k轮交叉验证，但是我们的输出是什么？我读到过，在计算验证错误之后，我们放弃了每一轮的结果，那么我们如何从这个结果产生一个模型呢？
验证和测试集(如果有的话)有什么区别？也就是说，我们通常将我们的数据分为培训数据和测试数据，但是我们是将我们的培训数据进一步划分为验证集，并在交叉验证过程中将我们的测试数据放在一边，还是对整个数据集进行交叉验证？
浏览 0提问于2019-05-07得票数 2
回答已采纳
我有250张人脸图像，我将用这些图像来训练模型。为了方便起见，我要做的是挑选前10个图像，并使用leave-one-out交叉验证来训练模型，以便每个图像都有机会成为测试图像。我所理解的是，在这种情况下，我的训练数据集的大小是9，测试数据集的大小是1。之后，我将获得下10个图像，然后使用它们来训练模型。在这种情况下，我的训练数据集的大小将是19，测试数据集将是1(这将重复发生20次，以便每个图像都有机会出现在测试集中)。同样，这个过程一直持续到我使用了所有的250张图像来训练模型。
我不理解的是“验证数据集”。我做错了吗？
在Stackoverflow上有一个答案，但我不清楚。这就是我发布这个
浏览 2提问于2014-07-31得票数 1
2回答
我想训练不同的机器学习算法(支持向量机，随机森林，CNN等)。对于相同的数据集(例如，MNIST)，然后比较它们的准确性。目标是从哪种训练数据大小中找出哪种方法比其他方法更好。为了做到这一点，我不断地减少原始训练数据集( 60000个样本)，并在这些减少的训练数据集上训练模型。
如果我使用原始的MNIST测试数据集(10000个样本)来确定精度，我当然会得到过度拟合，例如，当训练数据集为1000个样本时，我获得了95%的训练精度和75%的测试精度。
训练数据集越小，测试精度越低，训练精度基本相同。
减少测试数据集以恢复原来的1:6比例的测试集:培训集是否也有意义？就我个人而言，我认为这是没有道
浏览 0提问于2019-04-28得票数 0
我正在使用MATLAB函数TreeBagger()进行随机森林分类，以完成一项任务。当测试数据的变量数量与训练数据的变量数量不同时，它会给出错误。
我被告知，变量选择应该只在训练数据上进行，而不是在测试数据上，这样测试数据上就没有偏见。因此，在将初始数据集(50个变量)拆分为训练集和测试集后，我对训练集执行变量选择(独立性的卡方检验)。因此，训练集由37个变量组成，而测试集仍有50个变量。
我使用训练训练集，然后使用测试集进行预测(函数)。我得到了一个错误，因为测试集的变量数量与模型训练时使用的变量数量不同。
仅在训练集上执行变量选择是否错误？有没有一种方法可以使用这个函数执行预测？
浏览 0提问于2015-12-20得票数 1
在教程中，数据集被分成三个不同的集合：(1) data_sets.train、(2) data_sets.validation和(3) data_sets.test。然而，在训练循环中，只使用data_sets.train进行训练。
# Start the training loop.
for step in xrange(FLAGS.max_steps):
start_time = time.time()
# Fill a feed dictionary with the actual set of images and labels
# for this particular
浏览 0提问于2017-01-27得票数 3
我们知道数据预处理的最佳实践(如标准化、规范化、.在对训练数据进行fit_trasform()处理的同时，应用transform()测试数据，将从训练数据缩放中获得的参数应用到测试数据中。与此类似：
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform (X_test)
问题是:对训练数据执行fit_transform()也是有意义的，而对transform()测试数据则没有意义，这样我们就可
浏览 0提问于2020-05-31得票数 4
回答已采纳
1回答
我想用CNN对5个类别进行分类，但其中4个类别只有16到60张图片，而最后一个类别有1300多张。我知道16或60图像是不够的，所以我想使用转移学习，微调和数据增强。然而，我有几个问题。
由于数据增强必须仅用于培训数据，所以对于验证集而言，来自4个类的图像将非常少，这会不会是一个问题？
是否需要在培训/验证/测试中将其分开，或者培训/验证是否足够？
另一个问题是不平衡的数据:如果每个类别中的图像数量有如此之差，过度采样或过低采样是否是一个好的解决方案？
对于转移学习和微调，我应该冻结所有的卷积层，还是只训练一个FC层？
浏览 0提问于2021-04-28得票数 2
我是一个新的人在NLP和我尝试做文本分类工作。在做这个工作之前，我知道我们应该做单词嵌入。我的问题是，我应该只在训练数据(使测试数据只从训练前的vec训练数据模型获得向量)上做单词嵌入工作，还是同时对训练数据和测试数据进行嵌入工作？
浏览 2提问于2016-05-22得票数 0
回答已采纳
我正在使用R中的randomForestSRC包来创建生存森林。我有训练和测试数据集。通过使用训练数据集，生长树(随机森林)，并使用测试集，进行预测。
现在我想要得到预测生存输出的精度，我可以从预测output.But中获得错误率参数，不知道这是不是模型的精度，或者我们必须计算它的精度。
当我搜索相同的内容时，我可以看到正态随机森林的准确性可以使用混淆矩阵来计算。但不确定如何计算生存输出的准确性。
请让我知道，如何计算RandomForest生存模型的准确性。
浏览 8提问于2016-11-14得票数 2
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
