我正在尝试在一个大型数据集上训练一个模型。在完成一个阶段的训练之前，我想多次运行评估步骤。看一下使用Estimators的Dataset API的实现，每次我在评估步骤之后重新启动训练时，Estimator从头开始创建一个新的数据集，而对于完整的数据，训练永远不会完成。return dataset 然后我使用tf.estimator.Estimator.train
浏览 15提问于2019-01-29得票数 0
1回答
使用Tensorflow 1.9中的自定义估计器。我的估计器训练input_function遵循典型的模式，但我希望确保我正在做我认为我正在做的事情。我有这个函数，我想要应用到每个数据集示例中。mean=0.0, stddev=sigma_noise, dtype=tf.float32) return {'tile' : tile}, label
所以使用dataset API<
浏览 0提问于2018-08-10得票数 0
2回答
TensorFlow 1.4将TF数据集移动到核心(tf.data.Dataset)，文档/教程建议使用tf.estimator来训练模型。但是，正如在末尾建议的那样，必须在input_fn函数内实例化Dataset对象及其迭代器。因此，调用is with step< number of samples in epoch，将导致在数据集的子集上训练模型。
所以我的问题就来了。例如，与不同，在input_fn之外实例化Dataset及其迭代器</e
浏览 0提问于2017-11-07得票数 9
1回答
使用自定义估计器控制纪元
、、、
我的输入函数如下所示： dataset.repeat(epochs).batch(16) def input_fn(): for
浏览 0提问于2019-06-07得票数 1
大多数sklearn.ensemble型号(GradientBoostingClassifier、RandomForestClassifier等)对于集合中的估计器数量，采用n_estimators参数如果你用X估计器训练了一个模型，你能在你的预测中使用少于X个估计器吗？这对于模型选择很有用。
例如:训练800棵树，你可能想看看400棵树模型是如何表现的。假设您有一个800棵树模型
浏览 0提问于2021-05-20得票数 1
我正在使用dataset API导入训练和验证数据。我有特种部队1.2。所以我只能使用可重初始化的迭代器，不能使用可馈送的迭代器，因为可馈送的迭代器只在TF1.4中可用。1)如果我们只想训练网络，我们可以简单地使用监控训练会话。但是，当我们想在训练的同时进行验证时，我们应该如何做呢？我们是否应该放弃受监控的培训课程，而使用低级别的课程？2)有没有
浏览 1提问于2017-11-09得票数 0
1回答
我使用dataset api加载了两个数据集，一个用于训练，另一个用于评估。在运行评估或培训之前，我会使用sess.run(train_init_op)在它们之间进行切换。目前，我在完成一个时期后运行评估，即在完全运行训练数据集之后。 如果我想在训练数据集完成之前评估我的网络，我必须更早地切换，这样tensorflow就会忘记它在训练数据集中的位置。有没有办法记住训练</e
浏览 15提问于2019-01-30得票数 1
我使用tensorflow dataset api将数据提供给模型。据我所知，我应该对数据集进行混洗，以从模型中获得最佳性能。然而，由于我训练了一个时期，然后测试了一个时期，以此类推。为了更好地说明，下面是我的代码： train_dataset = tf.data.TFRecordDataset(filename_train).map(_parse_function).filter(mseed, reshuffle_each_iter
浏览 31提问于2019-02-22得票数 0
回答已采纳
2回答
我正在训练一个线性回归模型。我使用tf.contrib.data来准备数据集，对其进行混洗，然后分批提供： dataset= dataset.repeat(5) dataset = dataset.padde
浏览 0提问于2017-10-25得票数 8
我想问一个问题，如何监测验证损失在培训过程中的估计者在TensorFlow。我以前也问过一个类似的问题()，但没有多大帮助。如果我使用估计器来构建模型，我将给Estimator.train()函数一个输入函数。但是在培训过程中没有办法添加另一个validation_x和validation_y数据。所以，当训练开始的时候，我只能看到训练的损失。训练过程越长，训练损失就越少。然而，这
浏览 0提问于2018-11-09得票数 6
回答已采纳
我有一个用Keras写的模型。因为我处理的是大文件，所以我使用Keras应用程序接口加载数据并将其提供给tf.data.Dataset fit函数。在调用model.fit()之前，我使用it=ds.make_initializable_iterator()重新初始化dataset，然后将从it.get_next()函数获得的X和y张量传递给model.fit问题是，当model.fit()到达数据集的末尾时，它不会继续训练，换句话说，我只能训练一个<
浏览 21提问于2020-04-19得票数 0
1回答
我正在做一项任务:我必须在Matlab中构建一个字母识别脚本我有一个44x26的特征矩阵，每个字母一行，我试图建立一个网络，可以将字母分类为26个不同的类别，但没有成功:(以下是网络训练的代码：kohonen_weights_learning_ratenet, Features);
outputs = ne
浏览 0提问于2012-03-15得票数 1
回答已采纳
我使用了递归特征消除和交叉验证(rfecv)，以便为我拥有的几个特征(m =154)找到最佳准确度分数。
浏览 24提问于2017-02-28得票数 3
回答已采纳
它似乎不允许流式输入，我想我需要一个不适合内存的训练集。
高级API是否支持这一点？我在看资料，但我不太清楚。看起来也许我可以写一个输入函数，它有生成器而不是数组，但可能代码排除了这一点。附注:与有些关系，但如果可以的话，我想坚持使用高级API。
浏览 0提问于2017-09-20得票数 0
我创建了一个数据生成器类的两个实例，扩展自keras序列类，一个用于训练，另一个用于验证数据。然而，在我的源代码级别上，我只能看到验证生成器在每个时期之间重复迭代。我看不到训练发电机。现在，我还意外地发现，尽管fit方法不支持验证数据的生成器，但它确实可以工作，并且使用我希望在训练生成器中具有的有趣功能，即从磁盘重新读取数据，以便在我自己的源代码级别进行重新扩充。总之，我可以看到一些提示，tensorflow Dataset.cach
浏览 26提问于2021-02-11得票数 0
1回答
我正在使用weka多层感知器来构建我的分类器。问题是，我有这么多的数据集，所以我想一遍又一遍地进行增量训练。在我用dataset1调用buildClassifier之后。在我完成训练之后，如果我用dataset2调用buildClassifier会怎么样？会发生什么呢？我已经用database1训练的网络是不是迷路了？或者，我下次调用builderClassifier(dataset2)时的起点是使用data
浏览 1提问于2016-11-05得票数 0
TensorFlow的Keras Model.fit方法有两个参数来限制训练周期中的步数：steps_per_epoch表示训练步数，validation_steps表示验证步数。然而，这两个参数之间的主要区别(除了用于训练或验证之外)在于它们如何从数据集中采样。对于训练，steps_per_epoch将在每个时期使用下一个可用的样本，因此每个时期通过数据集进一步进行。有没有一种方法可以让validation_steps像steps_per_epoch
浏览 0提问于2020-04-02得票数 0
对于一个较小的数据集，我在整个数据集的数据帧上使用scikit learn test_train_split，如下所示 from sklearn.model_selection import train_test_splittrain_test_split(train, test_size=0.2)
train, val = train_test_split(train, test_size=0.2) 它只需在我的数据集上创建一个测试、训练、验证拆分。因此，我使用的是实验性的tf.data函数make_c
浏览 28提问于2020-10-23得票数 1
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号