我想在同一批处理上训练几个步骤，因为我想让CPU有时间加载下一批处理。我使用可重新初始化的迭代器和tf.data.Dataset.from_tensor_slices((tf.range(n_train)))，然后使用.map()按索引获取数据集。我希望在批处理上运行的训练步骤至少与加载下一个批处理所需的训练步骤一样多。
浏览 5提问于2019-11-19得票数 0
1回答
我正在使用Tensorflow RNN来预测一系列序列。我使用Grucell和dynamic_rnn。在训练时，我输入训练数据集，我将其分成8批，每批的批大小为10 (1批的形状为[10, 6, 2]，即[batchsize, seqlen, dim])。为了防止过拟合，当训练数据集中的预测率开始超过80%时，我会停止训
浏览 6提问于2018-02-04得票数 0
在数据预处理中，使用分层洗牌确保原始数据集的分布反映在培训、测试和验证数据集中。
小型批处理梯度下降使用随机洗牌来确保小批中的随机性.我的疑问是-为什么我们应该在我们的数据集上执行分层洗牌，如果它要在训练期间以随机的方式被洗牌？
浏览 0提问于2020-08-08得票数 2
回答已采纳
我正在写一篇文章，集中讨论一个简单的问题--在存在标准、正常或均匀噪声的情况下，对大型数据集进行线性回归。我从TensorFlow中选择了Estimator作为建模框架。我发现，在这样一个机器学习问题上，当训练步骤的数目足够大时，超参数调整实际上并不重要。所谓超参数，是指训练数据流中的批次大小或历元数。
是否有
浏览 2提问于2017-11-05得票数 1
回答已采纳
2回答
我正在使用Pytorch运行一些深度学习模型。我目前正在跟踪每个时期的训练和验证损失，这是非常标准的。然而，跟踪每个批次/迭代的训练和验证损失的最佳方法是什么？对于训练损失，我可以在每个训练循环后保留一个损失列表。但是，验证损失是在整个时期之后计算的，所以我不确定如何计算每批的验证损失。我能想到<em
浏览 3提问于2021-01-09得票数 0
此link的tensorflow教程(请参阅“训练模型”部分)表明，可以向tf.keras.model.fit提供数据集(数据、标签)。然而，当我将我的数据集分配给val_data时，如下所示，无论训练状态如何，验证数据的损失都是0 (见下图)。然而，在我的例子中，我提供了一个数据集<
浏览 53提问于2020-11-05得票数 1
I处理一个图像分割问题，其中有一个以tensorflow数据集格式提供数据的管道，并使用tensorflow迭代器。现在，我已经将训练图像的数量从之前的250张增加到了500张。我有一条独立的图像增强管道。我的问题是
即使我使用相同的batch_size=16，也会因为图像数量的增加而产生影响吗？我设定step_per_ep
浏览 5提问于2020-11-11得票数 0
回答已采纳
我在使用tensorflow 2。
当使用带有Model.fit()的tf.data.Dataset方法时，参数'batch_size‘将被忽略。因此，为了在批处理上训练我的模型，我必须首先通过调用tf.data.Dataset.batch(batch_size)将我的样本数据集转换为批量样本数据集。然后，在阅读了文档之后，我不清楚.fit()方法将如何
浏览 1提问于2020-10-14得票数 3
我已经看到了在为Tensorflow dataset进行加载、洗牌、映射、批处理、预取等过程中使用.repeat()的教程，而其他教程则完全跳过它。我知道什么是重复，它是如何使用的，但我无法确定何时使用，何时不使用。
有什么帮助吗？
浏览 0提问于2021-09-22得票数 2
回答已采纳
1回答
在训练神经网络中混洗批量数据
、、、、
我有6.5 GB的训练数据要用于我的GRU网络。我打算将训练时间分开，即暂停和恢复训练，因为我使用的是笔记本电脑。我假设我需要几天的时间来训练我的神经网络，使用整个6.5 GB，所以，我将暂停训练，然后在其他时间再次恢复。
这是我的问题。如果我要打乱训练数据的批次，神经网络会
浏览 13提问于2017-07-31得票数 2
回答已采纳
我试图理解验证步骤和每一个时代的步骤之间的区别，谁能告诉我这两个术语之间的区别吗？我也想知道，它对训练有什么帮助，我们应该设定多少呢？
浏览 0提问于2021-06-26得票数 0
回答已采纳
我正在遵循TensorFlow的教程。()
创建一个数据集，该数据<e
浏览 7提问于2019-12-07得票数 6
回答已采纳
我想训练一个具有可变长度输入的LSTM模型。具体来说，我想使用尽可能少的填充，同时仍然使用小型批次。
据我所知，每一批输入都需要一个固定的时间步骤，这就需要填充。但是不同的批次对于输入可能有不同的时间步骤，因此在每批输入中，只需将输入填充到同一批中最长的输入序列的长度。这就是我想要实现的。我需要做的</
浏览 0提问于2020-11-26得票数 4
回答已采纳
以下是tensorflow中tf.GraphKeys的，例如TRAINABLE_VARIABLES：将由优化器训练的变量对象的子集。我知道tf.get_collection()，它可以找到你想要的张量。使用tensorflow.contrib.layers.batch_norm()时，参数updates_collections默认值为GraphKeys.UPDATE_OPS。我们如何理解这些集合，以
浏览 0提问于2018-01-15得票数 18
回答已采纳
1回答
我的训练数据包含大约1500个标签(字符串，每个记录一个标签)，我想进行批量训练(只需将一批加载到内存中，以更新神经网络中的权重)。我想知道tensorflow中是否有一个类为每个批次中的标签进行一次热编码？在sklearn中我们可以做的事情
onehot_
浏览 7提问于2017-10-01得票数 0
2回答
我正在使用keras和tensorflow进行深度学习。我处理稍微大一点的数据集(图像)，所以我不能一次加载整个数据集，相反，我加载了8000张图像的批次，并使用model.fit()进行训练(下面的代码片段)。model.save_weights(weights_file)
total_val_loss = history_train.h
浏览 1提问于2017-10-27得票数 1
1回答
我正在尝试加载一个数据集，该数据集存储在我的驱动器上的两个.npy文件中(用于特征和地面实况)，并使用它来训练神经网络。/groundtruth.npy") / 255
dataset = tf.data.Dataset.from_tensor_slices((data, labels)) 调用from_tensor_slices()方法时引发<em
浏览 140提问于2021-11-16得票数 0
回答已采纳
当输入一个tf.data.Dataset训练EfficientnetB0模型时，我得到了以下错误：我真的想知道为什么会发生这种情况，因为当我从我的数据集创建批处理时steps_per_epoch=tra
浏览 0提问于2020-04-25得票数 1
我想使用tensorflow拆分csv的训练和测试数据，但我在张量中找不到像np.loadtxt这样的顺序，并尝试使用numpy进行拆分并将其转换为张量，但我得到了类似以下的错误：下面是我的代码： imp
浏览 0提问于2019-03-24得票数 0
2回答
我是TensorFlow和机器学习的新手，并且发现了批处理的概念。
将DataSets分成批的目的是什么? TensorFlow如何使用不同的子集对变量执行优化任务？
浏览 2提问于2017-10-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
