模型拟合训练数
是指在机器学习中，用于训练模型的数据集的大小。模型拟合训练数的选择对于模型的性能和泛化能力具有重要影响。
在选择模型拟合训练数时，需要考虑以下几个因素：
- 数据集规模：较大的数据集通常可以提供更好的模型拟合效果。更多的数据可以帮助模型更好地捕捉数据中的模式和规律，减少过拟合的风险。因此，如果有足够的数据可用，通常会选择更大的模型拟合训练数。
- 计算资源：较大的模型拟合训练数需要更多的计算资源和时间来完成训练过程。因此，在计算资源有限的情况下，需要权衡模型拟合训练数和计算资源之间的平衡。可以通过分批次训练、使用分布式计算等方法来处理较大的数据集。
- 模型复杂度：模型的复杂度与模型的容量相关。较复杂的模型通常需要更多的数据来进行训练，以避免过拟合。因此，在选择模型拟合训练数时，需要考虑模型的复杂度，并根据模型的复杂度调整数据集的大小。
- 特定领域需求：不同的应用场景可能对模型拟合训练数有不同的要求。例如，在某些领域中，数据收集成本较高，可能只能使用较小的数据集进行训练。在这种情况下，可以考虑使用迁移学习、数据增强等技术来提高模型的性能。
总结起来，选择合适的模型拟合训练数需要综合考虑数据集规模、计算资源、模型复杂度和特定领域需求等因素。根据具体情况，可以选择适当的数据集大小来训练模型，以达到较好的性能和泛化能力。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）
- 腾讯云数据集市（https://cloud.tencent.com/product/dataset）
- 腾讯云弹性计算（https://cloud.tencent.com/product/cvm）
- 腾讯云分布式训练（https://cloud.tencent.com/product/tf-distributed-training）
相关·内容
1回答
超装指示
、、
我正在训练一个图像识别模型使用盗梦空间和转移学习，基于Tensorflow的诗人教程。
我已经运行了500 K的步骤，希望看到最佳的步骤数之前，过度训练的阶层。下面的张板图显示了我的训练精度稳步提高，但是验证精度已经稳定在70K级左右。我的理解是，当它开始过度训练时，验证的准确性就会开始下降。
在下面的图表中，我的最佳步数是多少? 70k步还是260 k？
浏览 0提问于2018-05-05得票数 2
回答已采纳
我正在处理文档分类问题，并尝试应用基本的RNN/LSTM模型。
我制作了多层LSTM模型，并用15个时期进行了训练，但我获得了大约53%的训练准确率。41%的测试访问率。当我用更大的时代训练时，训练acc。增加和测试访问权限。下降到33%左右。
我知道如果测试访问。低于训练ac.，它可能是过拟合的。而过拟合的原因是，模型甚至训练了训练数据集的噪声。但我认为，如果发生了过度拟合，训练是可行的。必须是相当高的(80-90%)和测试访问。这比这要低得多，因为过拟合意味着模型对于训练数据集来说是“过拟合”的。
现在我想知道为什么当我用15个时期训练时，我的准确率降低了10%，而训练准确率只有53%。它
浏览 0提问于2020-04-24得票数 0
我有200张尺寸为28x28的图像的训练数据集，我将其存储在train_dataset中，形状为200 x (28 * 28 ).Labels是形状为200的一维。即培训：(200，28，28) (200 )
我需要将这些训练数据拟合成物流回归模型中的训练数据。 fit (train_dataset，train_label)，但是fit(X，y，sample_weight=None)的拟合参数有数组(X).dim< 2和数组(Y).dim<2。
那么，除了缩小train_dataset之外，还有其他选择吗?但是它需要很大的空间，即尺寸为200x (28 * 28)的2d数组，也可以
浏览 7提问于2016-07-17得票数 1
4回答
对训练集模型进行评价(即训练训练模型，在同一训练集上评估回归误差/精度)，并将评价结果与模型回归误差/交叉验证(我们在同一训练集上进行交叉验证)和测试集的精度进行比较，以检查过拟合/不拟合是否是一种很好的做法吗？
据我所知，我们不应该对训练集的模型进行评估。然而，我看到一些讲座似乎促进了对训练错误的评估。
浏览 0提问于2020-08-20得票数 1
1回答
我最近开始了解Keras中的Modelcheckpoint回调。但它只能监控验证准确性或训练Acc。当验证精度达到最大时，它可以节省最佳模型权重。但该模型可能与验证数据过度拟合。因此，我觉得也有必要监控训练的准确性。我想保存验证精度最高且训练精度也很好的模型。有没有办法或者回调？谢谢
浏览 0提问于2018-08-17得票数 0
1回答
我正在尝试用13个属性对大约40万个数据进行分类。我使用过python sklearn的SVM包，但它不起作用，然后我了解到SVM不适合大数据集分类。然后我使用了(sklearn) ANN，使用了下面的MLPClassifier：
MLPClassifier(solver='adam', alpha=1e-5, random_state=1,activation='relu', max_iter=500)
并使用200K样本对系统进行了训练，并在其余样本上对模型进行了测试。这种分类效果很好。然而，我担心的是该系统训练过度或过度适应。你能指导我隐藏层的数量和节点大
浏览 2提问于2021-01-20得票数 0
我理解过拟合和欠拟合的直观含义。现在，给定一个基于训练数据训练的特定机器学习模型，您如何判断训练是过拟合还是欠拟合数据？有没有一种量化的方法来衡量这些因素？
我们能不能看看误差，然后说它是过拟合还是欠拟合？
浏览 0提问于2012-09-15得票数 4
回答已采纳
2回答
有人能告诉我如何使用局部拟合在sklearn中使用合奏吗？我不想重新训练我的模型。或者，我们可以通过预先训练的模型进行集成吗？例如，我已经看到投票分类器不支持使用部分拟合进行训练。
浏览 58提问于2017-03-21得票数 14
回答已采纳
无法解决错误，请提示代码：
训练模型
X_train_stepwise = X_train[['Schooling', 'Adult Mortality',
'HIV/AIDS', 'Diphtheria', 'BMI', 'Income composition of resources',
'Status', 'percentage expenditure', 'Polio', 'Measles', 'Hepatitis
浏览 0提问于2020-07-23得票数 0
Keras允许用户在拟合模型的同时，使用参数"validation_split“将数据分割为训练/测试样本。
示例：
model = Sequential()
model.add(Dense(3, activation = 'relu'))
//编译模型/
model.fit(X_train, y_train, validation_split = 0.2)
然而，我的直觉表明，使用validation_split (相对于创建训练，在拟合模型之前测试样本)会导致过度拟合，因为尽管validation_split在每个时期将批划分为训练和测试，但总体效果是整个数据集被模
浏览 0提问于2020-11-24得票数 -1
回答已采纳
在训练数据集上交叉验证超参数网格后，SparkML的CrossValidator是否重新适合整个训练数据集？如果不是，它会从交叉验证的哪一部分中选择用于推断的bestModel？
拟合的CrossValidator使.transform()方法可用。为此，CrossValidator是否使用最佳超参数在整个训练/交叉验证数据集上重新训练，并使用重新拟合的模型进行推理？
或者，bestModel用于推断所有交叉验证文件夹中的最佳性能模型(即，来自最佳性能超参数组合的最佳文件夹中的模型，仅对该文件夹的数据进行训练)？
我之所以这样问，是因为SparkML CrossValidator和scikit
浏览 22提问于2021-03-23得票数 0
1回答
我现在使用libsvm作为带有高斯核的支持向量机分类器。在中，它提供了一个python脚本grid.py来选择最佳的C和gamma。
我只是想知道训练时间和过度适应/不适应与伽马和C的变化？
是否正确：
假设C从0到+无穷大，训练模型将由不适当拟合变为过度拟合，训练时间增加？
假设伽马从几乎0到+无穷大，训练后的模型会从不拟合变为过度拟合，训练时间也会增加？
在grid.py中，默认的搜索顺序是C从小到大，伽马从大到小。这是否是为了从小到大的训练时间和训练模式从不适当到过度？所以我们可以节省时间来选择C和γ的值吗？
谢谢和问候！
浏览 3提问于2010-02-16得票数 1
2回答
我试图了解机器学习中的模型评估和验证过程。具体而言，培训、验证和测试集的使用顺序和方式。
假设我有一个数据集，我想使用线性回归。我在各种多项式度(超参数)之间犹豫不决.
在中，这似乎意味着顺序应该是：
将数据拆分为培训集、验证集和测试集
使用训练集来拟合模型(找到最佳参数:多项式系数)。
之后，使用验证集来找到最佳的超参数(在这种情况下，多项式度)(维基百科的文章说：“连续地，拟合模型用于预测第二个数据集中的观测结果，称为验证数据集”)。
最后，使用测试集对与训练集相匹配的模型进行评分。
然而，在我看来，这似乎很奇怪:如果您还没有选择您的超参数(在这种情况下是多项式度)
浏览 1提问于2019-01-10得票数 1
回答已采纳
1回答
我是机器学习的初学者，正在尝试解决一个分类问题。我正在处理一个非常不平衡(顺序)的数据集( 20k条记录中只有2%是正的)，并且我正在使用LSTM/GRUs使用tensorflow在python中建模。
这就是我要做的:加载数据。将数据集分成3个数据集:A用于训练(70%)，B用于验证(15%)，C用于测试(15%)；对于每个数据集(A，B，C)，对阳性类进行过采样，以便将阳性百分比从2%提高到30%。这给了我3个更平衡的新数据集:A‘，B’，C‘
然后，我使用GRU使用数据集A‘训练我的模型。
我的目标:在我的测试集C上获得最高的F分数(有没有更好的指标？据我所见，F分数取决于数据分布，即数
浏览 21提问于2017-07-04得票数 3
1回答
在回归的目标中，训练错误的总体要点是什么(即，作出预测)？
你可能会说，“嗯，你看，训练错误可以帮助你确定哪种复杂的模型是最好的。”
对此，有些人会说，“不，你不能。低训练误差可能只是意味着你的模型符合你正在训练模型的任何数据，A.K.A超拟合。”
如果训练误差不是一个很好的性能预测指标，那么计算它有什么意义呢？
特别是当我们说，去他妈的训练错误，只是使用验证错误..。
我们什么时候会使用训练错误？
较低的训练误差可能是过度拟合的表现。这是唯一的用途吗？
浏览 3提问于2016-08-08得票数 5
1回答
过拟合模型
、、
我正在一个图像数据集上训练两个ResNet模型。第一种是用随机权值训练的，而另一种是在ImageNet上预先训练的。
第二种模型在训练损失为1.47e-3的12个时期后开始过拟合。另一方面，第一个模型在训练损失为1.17e-3的70年代后没有表现出明显的过度拟合行为(因此较低)。
有矛盾吗？我该怎么解释呢？
浏览 0提问于2019-12-24得票数 1
我想获得一个关于k变化如何影响k-折叠验证的直觉。下面这个是对的吗？
OOS MSE的平均值一般会随着k减少，因为较大的"k“意味着训练集更大，所以我们有更多的数据来拟合模型(假设我们使用的是”正确“模型)。
OOS MSE的方差通常应该随k的增加而增加，较大的k意味着有更多的验证集。因此，我们有更多的个人中小企业平均。由于许多小褶皱的均方根比少数大褶皱的MSE更稀疏，所以方差会更大。
📷
浏览 0提问于2018-08-19得票数 3
回答已采纳
2回答
我正在构建另一个XGBoost模型，我真的在努力避免过度适应这些数据。我将数据分割成火车和测试集，并根据测试集错误将模型与早期停止相匹配，从而造成以下损失：
📷
我想说，这是一个非常标准的图形，像XGBoost这样的增强算法。我的推理是，我感兴趣的主要是测试集的性能，直到XGBoost在600年代左右停止训练，因为早期停止测试集损失仍然在减少。另一方面，过度拟合有时被定义为火车误差比测试误差减小得更快的情况，而这正是这里发生的情况。但我的直觉是，基于决策树的技术总是挖掘训练数据(例如，随机森林中的树会故意超出训练集，这是一种减少方差的套袋作用)。我相信梯度增强技术也是众所周知的，从钻下训练数据
浏览 0提问于2020-08-19得票数 1
有两种神经网络模型。
第一种模型不存在正则化，从历元到第十阶段都存在过拟合现象，因此该模型在第9期停止训练，验证损失最小发生在历元9次。
第二种模型具有正则化(Dropout)，不显示过度拟合。因此，这种模式比第一种模式的训练时间长得多。但最小验证损失值并不高于第一模型的最小验证损失值。尽管这个模型可以训练得更多，但是这个模型似乎没有达到第一个模型的最小验证损失的值。
这些模型训练相同的数据集和结构几乎相同，除了是否使用正则化。
在这种情况下，哪一种更好？
浏览 3提问于2020-10-21得票数 0
回答已采纳
1回答
我已经训练了一个logistic回归模型。现在我必须用新的训练数据来更新(部分拟合)模型。有可能吗？
浏览 1提问于2018-07-30得票数 4
回答已采纳
1回答
我有一些带有每周数据的时间序列"ts“，并对其拟合了arima模型。这为我提供了数据点的拟合值。下周，我将有一个新的时间序列数据点，并希望在不再次训练arima模型的情况下获得一个拟合值。我可以使用我已经训练过的模型中的信息来获得新数据点的拟合值吗？ library(forecast)
library("dplyr")
timeseries <- ts(nhtemp)
# original timeseries and new timeseries with one additonal datapoint
timeseries_original <-
浏览 14提问于2019-08-29得票数 2
我正在使用SageMaker训练一些我认识到的自定义TF模型。在训练过程中，我自然会多次评估模型，以便了解神经网络何时真正开始过拟合。训练结束后，我想恢复工作最好的模型(即，表示最小验证损失的模型)，并将其部署在端点上。然而，如果我使用经典的Tensorflow.attach()，恢复的模型对应于output/model.tar.gz中存储的模型，如果我没有弄错，它将是对应于上一次训练迭代的模型(因此它可能过拟合)。
有没有一种方法可以向SageMaker指定恢复哪个检查点，而不必通过提前停止重新训练模型？即使强迫SM在model.tar.gz中保存表示最小验证损失的模型，而不是最后一个模型，
浏览 2提问于2018-10-23得票数 3
1回答
如果我们使用训练数据集中的100个观测数据来拟合模型，那么下一步进行预测的指标将被指定为start=101，end=101。这将返回一个包含预测的元素的数组。
如果我们执行任何差异(配置模型时的d>0)，我们也希望预测的值在最初的标度中。这可以通过将typ参数设置为值‘level’：typ=‘level’来指定。
或者，我们可以通过使用预测()函数来避免所有这些规范，该函数使用模型执行一步预测。
我们可以将训练集分解为训练集和测试集，利用训练集来拟合模型，并对测试集上的每个元素进行预测。
浏览 1提问于2017-06-07得票数 1
回答已采纳
我已经阅读了在下进行K折叠交叉验证的一般步骤。
它描述了一般程序如下：
随机洗牌数据集。
将数据集拆分为k组(折叠)
对于每个唯一的组:将组作为一个保持或测试数据集。
将剩下的组作为训练数据集，在训练集上建立模型，并在测试集上对其进行评估。
保留评价分数，放弃模型
利用模型评价成绩样本总结模型的技巧
所以如果它是K-折叠，那么K模型就会被建立，对吗？但是，为什么我从H2O的下面的链接中读到它构建了K+1模型呢？
浏览 1提问于2018-10-03得票数 0
回答已采纳
2回答
这是个过分合适的例子吗？
、、、
在大约100个时代之后，培训一个深度学习模式：
Train accuracy : 93 %
Test accuracy : 54 %
然后训练精度提高，测试精度下降：
Train accuracy : 94 %
Test accuracy : 53 %
Train accuracy : 95 %
Test accuracy : 52 %
Train accuracy : 96 %
Test accuracy : 51 %
对于模型的初始版本，我们满足了54%的精度，但是我不知道训练精度增加的意义，测试精度的下降除了模型是过拟合的。当达到最大测试精度时，我是否应该停止训练模型并使用经过训练的参
浏览 0提问于2018-09-07得票数 0
回答已采纳
我正在使用statsmodels.tsa.arima.model.ARIMA在时间序列上拟合ARIMA模型。 如何使用此模型对看不见的数据进行预测？似乎预测和预测功能只能从模型拟合到的训练集中的最后一次看到的数据进行预测。 举个例子，我想用一个静态模型来预测未来。这是为了实时多步预测的目的，其中重新拟合模型是不可行的。 例如， 假设我们有一个10,000的数据集，分为训练和测试(70/30)。我们训练的最后一个读数是7,000，可以使用经过训练的模型并在6997到7000中传递来预测7001到7004，然后在接下来的迭代中使用相同的模型传递6998到7001来预测7002到7005。 这种类
浏览 33提问于2021-10-28得票数 0
1回答
我有一个包含3961个不同行和32列的训练数据，我希望将其适合随机森林和梯度提升模型。在训练时，我需要微调模型的超参数，以获得尽可能好的AUC。为此，我使用Scipy中描述的盆地跳跃算法最小化数量1-AUC(Y_real，Y_pred)；因此我的训练和内部验证子样本是相同的。
当优化完成后，我得到了随机森林的AUC=0.994，而对于梯度提升我得到了AUC=1。我是不是对这些模型过度拟合了？我怎么知道在训练过程中什么时候发生了过拟合？
浏览 10提问于2021-01-20得票数 0
1回答
关于Keras迁移学习的探讨
、、、、
我目前正在一个基于传感器的活动数据集上进行迁移学习，我尝试了两种方法来迁移之前在另一个数据集上训练过的模型。
转移的第一种方法是加载训练模型，切断最后一个密集和softmax分类层，添加新的密集层和softmax层(对应于新类的数量)，冻结除新添加的层之外的每一层，并将模型拟合到新的数据集上。这导致F1得分为30%。
传输模型的第二种方法是初始化一个新模型，基于新的数据集，冻结除最后一层之外的每一层，仅将加载的模型中的权重传输到新初始化的模型，并对模型进行训练。这导致了F1得分或多或少90%。
所以现在，我正在试图弄清楚这两种传输模型的方法到底有什么不同。最后的第二种方法只是一个新的模型，其中
浏览 5提问于2020-06-15得票数 0
1回答
我想重新训练谷歌的mediapipe手部地标，以便进行更多关键点检测，但该模型仅在tflite格式下可用，无法重新训练。 我创建了一个与mediapipe手模型相同的模型，并用我的自定义数据对其进行了训练，但面临着过度拟合的问题， 我正在使用： RMSprop作为优化器 MSE (均方误差作为损失函数) 批量大小= 32 初始学习率=1e-3 decay_steps=1000 decay_rate=0.9 colab screenshot 训练损失减少到4.3819e-04，但验证损失仍为0.00134 我也试过 Adam优化器，带 Huber损失函数 验证损失降至0.00083我仍然面临过
浏览 20提问于2021-08-03得票数 0
2回答
我正在使用Libsvm来解决一个二进制分类问题。我的数据集有大约50K个属性和18个样本。我正在使用leave one out验证(对17个样本进行训练，并对剩余的样本进行测试)。我使用以下命令对数据进行标准化：
svm-scale -s scaling_parameters Train$i > TrainScaled$i
svm-scale -r scaling_parameters Test$i > TestScaled$i
训练和预测如下所示：
svm-train -s 0 -c 5 -t 2 -g 0.5 -e 0.1 TrainScaled$i model
svm-pre
浏览 0提问于2014-04-17得票数 1
我用Python在一个包含大约200个样本的小监督数据集上训练和测试了一个KNN模型。我想将这些结果应用于一个包含数千个样本的更大的无监督数据集。 我的问题是:有没有一种方法可以使用小的监督数据集来拟合KNN模型，然后更改大的无监督数据集的K值？我不想通过使用较小数据集中的低K值来过度拟合模型，但不确定如何拟合模型，然后在Python中更改K值。 使用KNN可以做到这点吗？有没有其他方法可以将KNN应用于更大的无监督数据集？
浏览 34提问于2019-01-31得票数 0
回答已采纳
我知道学习曲线是诊断模型过拟合或欠拟合的一个很好的工具。
其工作原理简单:根据学习率、模型结构复杂度、训练集大小、训练周期数等具体参数绘制训练/验证损失/精度图。
然而，我应该总是绘制许多不同的学习曲线，即取决于这些不同的参数？或者，如果我只根据一个参数绘制一条学习曲线，那就足够了吗？因此，如果我只绘制基于keras (tensorflow 2作为后端) model.fit历史的学习曲线，即取决于训练时代的训练/验证损失，那么它是否足够可靠。
浏览 0提问于2020-05-10得票数 0
1回答
我知道类似的问题已经问了很多次了，但我找不到这个问题的答案，至少在某种程度上没有让我满意。
我对如何使用验证集感到非常困惑。我知道他们被用来执行超参数扫描，但我不太确定是以什么方式。例如，假设我试图在一个有一个隐藏层和一个有两个隐藏层的神经网络之间做出决定，并且我有一个50/25的训练/验证/测试分割的数据。我不会执行k-折叠简历，因为这是我的问题的内在原因。
我是否应该在培训期间使用验证集(以防止过度拟合)和在事实之后使用相同的验证集(当模型被完全训练时)以确定哪个模型更好？何时使用验证集来比较模型？
然后，一旦我到达测试集，我知道我应该一起训练训练数据和验证集。但是，我是否应该将验证集与最
浏览 0提问于2020-02-21得票数 1
我正在学习如何使用Azure ML Studio执行机器学习。目前，我只尝试过使用Python进行机器学习。 我使用Azure ML和Python运行了相同的机器学习项目，以查看每个产品的结果与均方根误差(RMSE)有多接近。到目前为止，Azure ML和Python的RMSE有很大不同。 我不明白为什么RMSE离得这么远。我能想到的唯一原因是因为Python在训练数据上‘拟合’模型的方式。Python使用以下代码来拟合训练数据 lr = LinearRegression(labelCol='xxxx')
lrModel = lr.fit(train_data) 然而，我不知
浏览 17提问于2019-12-28得票数 0
我试图了解测试数据集是否可以用来选择一个经过训练的最终模型。让我们假设这个场景：
我首先分割了整个数据集: 70%的训练，30%的测试。然后我拟合了几个模型(假设NN，RandomForest，AdaBoost，.)在训练数据集上进行交叉验证，对超参数进行调优，以获得最佳的列车数据性能。我知道这些分数是有偏见的，因为我调整了这些数据上的超参数。
然后，使用测试数据集来获得对无偏数据的真实性能，并选择哪个模型的性能最好。
这是使用测试数据集的正确方式吗？一些混淆来自于测试数据集的internet定义：
用于对最终模型进行无偏评估的数据样本，适合于培训数据集。
似乎它应该只用于获得一个最后训练的模
浏览 0提问于2018-12-27得票数 2
回答已采纳
1回答
我有一个数据集，我已经从它构建了一个XGBClassifier模型。在不进行超参数整定的情况下，该模型在训练中表现较好，但在测试中表现出一些过度拟合的迹象(训练精度: 90，测试精度: 80)。经过超参数整定(设定L1、L2、eta、γ、learning_rate)后，模型的拟合精度有所降低(训练精度为70，试验精度为69)。我使用scale_pos_weight来平衡二进制目标变量。是否有任何建议，我可以进一步提高准确性，同时不过份/不适合的模型？作为初学者，我已经尝试过所有可能的方法。
浏览 0提问于2022-06-22得票数 1
1回答
如何减少预训练网络中的过度拟合
、、、、
我有一个有10个类的定制数据集，我正在使用一个来自火炬视觉的预先训练过的resnet18模型。我可以清楚地看到它的过度拟合，因为:该模型被训练为75个历元，批次大小为4，从epoch 30开始，验证精度停止增加，训练精度不断提高。
我为提高泛化性能和减少过度拟合所做的事情：
我用我的训练数据的计算平均值和性病来规范我的数据。
我增加了随机旋转，随机水平翻转和随机垂直翻转作为数据增强。
以上是所有这些结果之后，我想不出其他正则化技术，如果不改变模型的架构，这将完全违背预先训练的网络的目的，我使用一个，因为我只有大约300张图像在我的每堂课。
浏览 0提问于2020-07-12得票数 1
2回答
我有包括train_x训练和train_y测试的数据。但主要问题是，当拟合到模型时，它显示错误，如。 检查输入时出错:要求dense_12_input具有形状(8，)，但得到形状为(13923，)的数组 训练数据形状为 d=np.array(train_x)
d.shape 输出为 (6995, 13923) 测试数据形状为 f = np.array(train_y)
f.shape 输出为 (6995, 8) 所以我们可以转换到这个上面或者放入模型中 将数据拟合到训练数据集 classifier.fit(np.array(train_x),np.array(train_y), batch
浏览 9提问于2020-01-13得票数 0
回答已采纳
我正在用R中的XGBoost拟合一个二进制分类模型。我的数据集有300k个观察值，有3个连续的预报器和1个具有90个水平的单热编码因子变量。因变量y为True或False。 我做了随机子采样，以找到最优的超参数。对于每个设置，我都做了5折(分组)的CV。下面的超参数设置导致了5折估值数据折叠的最高平均AUC： booster objective max_depth eta subsample colsample_bytree min_child_weight
gbtree binary:logistic 8 0.7708479
浏览 23提问于2021-10-06得票数 0
回答已采纳
1回答
彩色和灰度图像
、、、
我正在尝试构建一个将灰度图像转换为彩色图像的模型。因此，我使用彩色图像和灰度图像的组合来训练cnn模型。虽然训练和损失的准确性很好，但与实际相比，val损失很高，Val精度很低，因此我得出结论，尽管我应用了辍学、批量归一化、图像增强，但它是过拟合的。结果是一样的。因此，我认为由于一半的图像是彩色的，另一半是灰度图像，所以模型被过度拟合了。我该如何克服它？
浏览 46提问于2021-07-31得票数 0
1回答
我正在尝试对图像进行情感分析。我有4节课--很好笑，不好笑。我尝试了像VGG16/19 densenet201这样的预训练模型，但我的模型过于拟合，训练准确率超过95%，测试精度约为30 %。有人能给我建议吗?我还能尝试什么？训练图像- 6K
浏览 0提问于2020-03-02得票数 0
在不讨论是否实际这样做的利弊的情况下，我很好奇是否有人创造了或知道一种简单的方法，可以在使用keras拟合模型的过程中在不同的时期之间改变训练数据。
例如:我有100个向量和输出特征，用于训练模型。我随机挑选了其中的80个作为训练集，将另外20个放在一边进行验证，然后运行：
model.fit(train_vectors,train_features,validation_data=(test_vectors,test_features))
Keras拟合允许人们用shuffle=True打乱训练数据的顺序，但这只是随机地改变训练数据的顺序。从训练集中随机选择40个向量，运行一个时期，然后随
浏览 0提问于2018-08-01得票数 8
3回答
在第50页的“”一书中，作者正在对数据集执行线性回归，并得到：
training set score: 0.67
test set score: 0.66
然后他们说，他们“很可能不适应，而不是过度适应”。
但是，当使用TensorFlow的时，它们使用的是带有神经网络的MNIST时尚数据集，并得到：
training set score: 0.892
test set score: 0.876
然后，他们声明如下
“事实证明，测试数据集的准确性略低于训练数据集的准确性。训练精度和测试精度之间的差距是过度拟合的一个例子。过度拟合是指机器学习模型在新数据上的表现比他们的训练数据更糟糕。“
我相信
浏览 1提问于2018-07-29得票数 0
回答已采纳
我正在使用带TensorFlow后端的KERAS。假设这是模型块：
model.add(LSTM(units = 60, activation = 'tanh')
model.add(Dropout(rate = 0.5))
model.add(Dense(units = 1, activation = 'sigmoid'))
model.compile(optimizer = 'adam', loss = 'mse')
model.fit(X_train, Y_train, epochs = 200, batch_size =
浏览 0提问于2019-08-22得票数 0
我正在训练一个有107850个样本的模型，并对26963个样本进行验证。
在Keras中拟合模型时，批处理大小和纪元数应该是多少，以优化验证精度？有没有什么基于数据输入大小的经验法则？如果纪元的数量增加，它是否会过度拟合模型？
谢谢。
浏览 2提问于2019-08-04得票数 3
使用验证集减少过度拟合的正确步骤是什么？
假设我将数据分成80:10:10 (培训:验证:测试)。我在训练集上训练，然后得到90%的准确度。我把这个模型应用到验证集中，然后得到20%。那我该怎么办？
如何使用验证集来减少过度拟合，特别是参照Na ve Bayes？
浏览 0提问于2018-11-07得票数 1
是否可以使用Keras创建模型，而不使用Keras中的编译和拟合函数，使用Tensorflow来训练模型？
浏览 1提问于2018-02-22得票数 1
回答已采纳
我的问题是，我获得了一个结果非常好的模型(训练和交叉验证)，但当我再次测试它(使用不同的数据集)时，出现了很差的结果。
我得到了一个经过训练和交叉验证测试的模型。该模型展示了AUC=0.933、TPR=0.90和FPR=0.04
我猜在看图片时不存在过度拟合，对应于学习曲线(误差)、学习曲线(分数)和偏差曲线：
问题是，当我使用不同的测试数据集测试这个模型时，我得到的结果很差，与我之前的结果AUC=0.52、TPR=0.165和FPR=0.105没有任何关系
我使用梯度提升分类器来训练我的模型，使用learning_rate=0.01，max_depth=12，max_featu
浏览 4提问于2015-08-24得票数 1
在将文本特征传递给分类算法之前，我使用Smarkml下手估计器/模型(TF)将文本特征转换成向量。下面是一个过程：
数据集：
Full sample data (labeled) <br>
Training (labeled)<br>
Test (labeled)<br>
Unseen (non-labeled)<br>
这是我当前的工作流程：
Fit IDF model (idf-1) on full Sample data<br>
Apply(Transform) idf-1 on full sample data<br&g
浏览 0提问于2016-11-01得票数 4
回答已采纳
1回答
我们如何分析损失vs时期图？
、、、、
我正在训练一个语言模型，每次训练时都会绘制损失与历元的关系图。我附上它的两个样本。
显然，第二个显示了更好的性能。但是，从这些图表中，我们什么时候决定停止训练(提前停止)？
我们能从这些图表中理解过拟合和欠拟合吗?或者我需要绘制额外的学习曲线吗？
从这些图中可以做出哪些额外的推断？
浏览 1提问于2018-09-03得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
