将数据集作为批处理读取以进行训练
是机器学习和深度学习中常见的数据处理方式。它指的是将大规模的数据集分成小批次进行读取和处理，以便用于模型的训练。
数据集作为批处理读取的优势包括：
- 内存效率：将整个数据集一次性加载到内存中可能会导致内存不足的问题，而批处理读取可以分批次加载数据，减少内存的使用。
- 训练效率：批处理读取可以并行地从存储介质（如硬盘或网络）读取数据，提高数据读取的速度，加快训练过程。
- 随机性：批处理读取可以通过随机抽样的方式从数据集中选择批次，增加数据的随机性，有助于提高模型的泛化能力。
- 数据增强：在批处理读取过程中，可以对每个批次的数据进行增强操作，如旋转、翻转、裁剪等，增加数据的多样性，提高模型的鲁棒性。
应用场景： 批处理读取适用于大规模数据集的训练场景，特别是在计算资源有限的情况下。例如，在图像分类任务中，如果数据集包含数百万张图片，将其一次性加载到内存中可能会导致内存溢出。此时，可以使用批处理读取方式，将数据集分成小批次进行读取和处理。
腾讯云相关产品和产品介绍链接地址： 腾讯云提供了多个与云计算和机器学习相关的产品和服务，以下是其中几个与批处理读取相关的产品和服务：
- 腾讯云数据万象（https://cloud.tencent.com/product/ci）：提供了丰富的图像处理和增强功能，可用于对图像数据进行批处理读取前的预处理。
- 腾讯云对象存储（https://cloud.tencent.com/product/cos）：提供了高可靠、低成本的对象存储服务，可用于存储大规模的数据集。
- 腾讯云弹性MapReduce（https://cloud.tencent.com/product/emr）：提供了大数据处理和分析的托管式服务，可用于对大规模数据集进行批处理读取和分布式计算。
请注意，以上仅为示例，腾讯云还提供了更多与批处理读取相关的产品和服务，具体可根据实际需求进行选择。
相关·内容
1回答
我有一个大型的MRI数据集，用于图像分割任务，不能直接放入Colab中的内存中，您可以使用我放在末尾的链接访问数据。它们是脑部MRI图像：
484幅训练图像，每个图像的形状为(240,240,155，4)，这4个数字分别是高度、宽度、层数和序列。
484个标签，每个标签的形状为(240,240,155)
你打算如何在训练前对这些图像进行预处理？下面是我尝试过但没有成功的步骤：
加载并读取图像。(我用过奶嘴)
将图像类型从float64转换为float32，将标签类型转换为uint8。
删除第一层和最后一层，因为它们不包含有用的信息。
堆栈/将它们中的每一个添加到具有for循环的数组中。
你认为
浏览 0提问于2021-11-26得票数 1
回答已采纳
我想把图片传给凯拉斯CNN。该程序随机提供从网上下载的图像，或随机像素值的图像。如何设置批次大小和纪元数？我的训练数据基本上是无限的。
浏览 0提问于2017-09-30得票数 3
1回答
神经网络输入归一化
、、、、
规范输入值(对神经网络)以加快学习过程是一种常见的做法，特别是当特征具有非常大的规模时。
在它的理论中，规范化是容易理解的。但是我想知道，如果训练数据集很大，比如说一百万个训练例子，那是怎么做到的呢？如果每个训练示例的特性也很大(例如，每个训练示例有100个功能)，那么就会突然出现两个问题：--将所有培训样本规范化需要一段时间--规范化的培训示例需要保存在某个地方，因此我们需要加倍必要的磁盘空间(特别是如果我们不想覆盖原始数据)。
如何在实践中解决输入规范化问题，特别是当数据集非常大的时候？
一种可能的选择是，在训练时，将每个小批的内存中的输入动态规范化。但是正常化的结果将从一个小批变成另一个
浏览 0提问于2018-04-01得票数 0
回答已采纳
1回答
我正在使用timeGAN从ydata-合成回购，现在的问题是重新培训模型。
假设我们已经根据某个数据集训练了一个模型，比如synth1。现在，我们有了新的数据集，它具有与以前的数据相似的数据特征。我想知道ydata-synthetic包是否支持加载预先训练过的synth1模型(在泡菜文件中)，然后重新训练到synth2？
我试过先加载模型，然后像5期一样进行模型训练。我认为，这5个时代不应显著改变模型，但它显示出非常不同的分布。
浏览 0提问于2023-05-24得票数 1
1回答
我正在使用Mask从以下git存储库中培训一个深度学习模型: matterport/Mask_RCNN。我依赖于数据集的大量扩展(原始数据集: 1988x1355x3的59幅图像，每个批注> 80 )，我将其存储在本地(需要评估类型/增强程度和验证度量)。增强后的数据集统计6000幅图像。该数据集在图像的x维和y维数上有所不同，因为分辨率降低和仿射转换-我假设不同的x，y维数不会影响最终测试。
然而，每当我加载超过“X”映像来训练模型时，我的Python内核就会崩溃。
因此，我想出了在子数据集中分割数据集并迭代子数据集的想法，使用“最后”训练的权重作为新一轮的起点。但我不确定结果是否会相
浏览 3提问于2020-04-12得票数 0
3回答
我的任务是根据一个人的脸的rgb图像来估计一个人的年龄。我要用ResNet-50来达到这个目的。在第一阶段，我在一个名为WIKI-IMDB的数据集上训练我的网络(通过水平翻转来过滤和扩展我的数据集，其中包含大约300 k的图像)，并且我用一个在ImageNet上训练的预先训练的ResNet-50网络的权重来初始化网络的权重。在WIKI-IMDB数据集上进行培训时，我计算了火车集输入的每个通道(RGB)的平均值，并从批处理中的每个示例中减去它(我还使用了相同的方法从我用于早期停止的验证集中减去它)。在完成WIKI上的网络培训之后，我想在另一个数据集上测试它，它是这项任务的基准。我正在测试的新数据
浏览 0提问于2018-06-09得票数 2
我想按照一定的标准f(图像，标签)从cifar10中提取数据(例如，f(图像，标签)只计算图像中所有像素的总和)。然后，我想要为训练集生成一个文件，为测试集生成一个文件，以后我可以将这些文件加载到一个数据设备中，用于训练一个神经网络。
我该怎么做？我现在的想法是用数据加载器在混乱中循环数据，记住图像的索引和分数，然后根据分数对索引进行排序，然后再循环遍历所有的数据，创建一个巨大的数字数组并保存它。保存之后，我将使用torch.utils.data.TensorDataset(X_train，X_test)来包装TensorDataset，并将其传递给DataLoader。
我认为它至少适用于像
浏览 0提问于2018-04-23得票数 1
我的数据集的格式如下：
训练数据
一个大小为numpy的数组(7855,448,448，3)，其中(448,448，3)是RGB图像的numpy版本。因为网络的目的是回归，我还没有找到使用ImageDataGenerator的解决方案。因此，我已经将整个图像数据集转换为一个numpy数组。
训练目标
训练目标是一个尺寸为7855的一维numpy阵列.这些条目对应于培训数据的条目。
要获得numpy数组，我必须将整个数据集加载到一个变量中，然后传递给它以进行拟合和预测。仅这一项就占用了5-6个内存。
当拟合模型时，RAM迅速溢出，运行时崩溃。如何将numpy数组元素分批输入，或者是否有另一种方式
浏览 0提问于2019-03-19得票数 0
回答已采纳
在训练神经网络时，你通常如何组织大型数据集以便于加载？我有一个庞大的数据集，无法装入内存，它由200000个样本组成，10k个样本存储在分组文件中。总的来说，这大约是50 of的数据。
我可以将分组分开以生成200000个单独的文件，但我不确定这是否是正确的操作过程，因为系统在培训时需要对文件系统进行多次调用。
训练大量数据集的系统是如何工作的？(例如image-net)。
浏览 0提问于2020-05-05得票数 2
我已经制作了一个卷积神经网络来存储数据。现在，我想要更改图像的输入。我该怎么做呢？需要将图片保存为特定的格式吗?另外，如何保存所有图片并逐个训练?我在tensorflow中使用了python。
浏览 2提问于2018-03-19得票数 0
1回答
caffe的种植策略是将随机作物用于训练，中心作物用于测试.
通过实验，我观察到，如果我能够在训练过程中为同一幅图像提供两个裁剪版本(随机和中心)，那么识别的准确性就会提高。这些实验数据(大小为100x100)是通过在115 x115大小的图像上应用随机和中心裁剪来脱机生成的(不使用caffe)。
我想知道如何在caffe完成这个任务？
注意：I考虑使用两个数据层，每个数据层具有不同的裁剪(中心和随机)，然后执行连接。然而，我发现caffe在训练中不允许中心作物。
浏览 3提问于2016-09-22得票数 0
1回答
大数据集的特征缩放
、、、
我试图使用深度学习模型来预测时间序列，在将数据传递给模型之前，我想对不同的变量进行缩放，因为它们有很大的不同范围。
我通常是“动态地”这样做的:加载数据集的训练子集，从整个子集获取定标器，存储它，然后在我想要使用它进行测试时加载它。
现在的数据是相当大的，我不会一次加载所有的训练数据进行训练。
我怎么才能去拿定价器呢？一开始，我想做一个一次性的操作，加载所有的数据，只是为了计算定标器(通常我使用sklearn定标器，比如StandardScaler)，然后在我的训练过程中加载它。
这是常见的做法吗？如果是，如果将数据添加到培训数据集，您将如何做？定标器能不能结合起来，避免一次性操作，只需“更新
浏览 0提问于2018-10-04得票数 2
回答已采纳
2回答
TensorFlow在单个张量上有2GB的长期限制.这意味着你不能在一次超过2GB的数据上训练你的模型。见；
这些帖子中引用的标准解决方案是使用占位符并通过feed_dict将其传递给“会话”：
my_graph = tf.Graph()
sess = tf.Session(graph=my_graph)
X_init = tf.placeholder(tf.float32, shape=(m_input, n_input))
X = tf.Variable(X_init)
sess.run(tf.global_variables_initializer(), feed_dict={X_
浏览 3提问于2018-12-26得票数 1
假设我们有价值500 000项的训练数据，我们是一次训练一个项目，还是一次训练“n”项，还是一次全部训练？
认为inputTrainingData和outputTrainingData是[[]]，train_step是任何通用的tensorflow训练步骤。
选项1一次只训练一个项目-
for i in range(len(inputTrainingData)):
train_step.run(feed_dict={x: [inputTrainingData[i]], y: [outputTrainingData[i]], keep_prob: .60}, session= sess)
浏览 4提问于2017-03-03得票数 1
回答已采纳
我正在使用sklearn中的knn算法在数据集上进行训练。我想知道，如果我的数据集包含数百万行，我们可以在这里进行批处理吗？ from sklearn.neighbors import NearestNeighbors
nbrs = NearestNeighbors(n_neighbors=6, algorithm='ball_tree').fit(new_features)
distances, indices = nbrs.kneighbors(new_features)
浏览 37提问于2020-08-10得票数 1
1回答
我有一个大约22,000张图像的数据集(整件事情大约是900 Mb )，我想把它导入Python中来训练CNN。
我使用以下代码导入它并将其全部保存在一个名为X的数组中：
import scipy.misc as sm
for i in range (start, end):
imageLink = "./dataSet/" + str(dataSet[i, 0]) + "/" + str(dataSet[i, 1])
image = sm.imread(imageLink)
X = np.append(X, image, axis
浏览 1提问于2017-12-24得票数 1
回答已采纳
1回答
我正在实施CNN分类模型。我已经看到了几个将数据集拆分为测试、训练和验证的实例。我还看到了数据集被分割为训练和测试的实例，测试数据被再次用于验证。这里最好的办法是什么？
浏览 0提问于2022-10-15得票数 0
2回答
我用Sci-Kit学习建立了一个k均值聚类模型.我需要每天重新训练现有的模型，使用新的数据。
我寻找任何技术，可以用来重新训练现有的模型，但我找不到任何直接的方法。
因为我每天都会得到大量的数据集，所以从一开始我就不能重新训练这个模型，因为从长远来看，它是不实际的。因此，我需要一个方法，可以用来重新训练现有的模型使用新的数据。
浏览 0提问于2019-09-06得票数 2
回答已采纳
1回答
我正在尝试使用weka对垃圾邮件和非垃圾邮件进行分类。
将上百条数以千计的标记垃圾邮件和另外100条数千条标记的非垃圾邮件作为训练数据集，我使用stringtowordvector作为过滤器来训练分类器。crossValidateModel的结果是非常good.But的，我想使用一个独立的测试集来评估分类器，以确保从训练集中对任何其他msg进行分类是可靠的。
我的问题是：
我还必须在测试数据集上使用stringtowordvector，以创建一个独立的.arff文件，该文件独立于训练arff file.The，在这两个.arff文件中，两个数据集中出现的同一个词分别具有两个不同的属性索引。例如
浏览 3提问于2012-08-30得票数 0
1回答
我正在与weka中的UpdatableClassifier一起进行顺序训练。我注意到weka.classifiers.Evaluation的evaluateModel方法需要迭代Instances中的每个实例才能进行求值。我检查了代码，似乎weka以批处理的方式进行评估。有没有一种方法可以使用weka类顺序评估模型，这样它就不会重新计算所有东西？
浏览 0提问于2015-12-02得票数 0
我正在从事物体检测的工作。我的训练集是5984，测试集是1496 (KITTI跟踪训练数据集)。
在Tensorflow中拟合模型时，批量大小和纪元数应该有多大？有没有什么基于数据输入大小的经验法则？我应该将其拆分为训练/val/test，还是继续使用当前拆分的train/val？
浏览 14提问于2017-07-03得票数 0
我用一些在线资源自学了机器学习，但我有一个关于梯度下降的问题，我无法弄清楚。
梯度下降的公式是通过以下物流回归得出的：
Repeat {
θj = θj−α/m∑(hθ(x)−y)xj
}
其中θj是变量j的系数，α是学习率，hθ(x)是假设，y是实数，xj是变量j的值，m是训练集的个数。hθ(x)，y是针对每个训练集的(也就是说，这就是求和符号的意思)。
这就是我困惑的地方。
我不清楚求和是否代表了我的整个训练集，或者到目前为止我做了多少次迭代。
例如，想象一下我有10个训练例子。如果我在每个训练示例之后执行梯度下降，那么我的系数将非常不同，如果我在所有10个训练示例之后执行梯度下降
浏览 8提问于2013-06-24得票数 7
回答已采纳
1回答
LSTM批量
、、、
我一直试图建立一个LSTM模型，但我对batch_size有点困惑。我在使用Tensorflow中的Keras模块。
我有50,000个示例，每个示例有200个时间步骤，每个时间步骤有三个特性。所以我把我的训练数据塑造成(50000, 200, 3)。
我用四层建立了我的模型，每个层都有100单元。对于第一层，我将输入形状指定为(200, 3)。前三层有return_sequences=True，最后一层没有，然后我做了一些softmax分类。
当我用model.fit调用batch_size='some_number'时，Tensorflow/Keras会用指定大小的批处理来
浏览 0提问于2018-12-05得票数 0
回答已采纳
我正在考虑如何在现实世界中应用经过训练的分类器。我们知道，当我们对数据集进行过度/欠采样以平衡数据集时，我们永远不会触及测试集，因为我们希望保持数据集的真实行为。但是，我不理解的部分是测试集的分布在分类器性能中的作用。
假设我有一个模型，可以将电子邮件标记为垃圾邮件或非垃圾邮件。如果我在我的电子邮件服务中启动这个模型，在特定的时间窗口中，我的分类器接收到的所有电子邮件都可能是非垃圾邮件。但经过训练的模型对每个类别都有50-50%的分布。我的问题是，does this difference in the distribution--during the prospective applicati
浏览 0提问于2020-11-16得票数 2
1回答
我正在使用Tensorflow Keras在GPU上训练一个LSTM模型。在调用model.fit()时开始训练之前，需要大约30分钟才能开始训练过程。我认为在这段时间里，它用CPU的一个核心来准备数据。我说的对吗？如果是，我如何使用多核并行化这个数据准备过程？
浏览 0提问于2020-03-05得票数 0
回答已采纳
1回答
当使用caffe时，要创建包含图像的训练数据集，我们需要创建像lmdb这样的特殊格式的数据库，但是有任何选项可以传递给caffe批图像，例如vector<cv::Mat>？
为了澄清这一点，我正在寻找能够处理大量无法放入内存的图像的解决方案(但假设一批培训批(例如包含50幅图像)可以存储在内存中)。
浏览 1提问于2015-10-16得票数 6
回答已采纳
1回答
我正在使用Ubuntu16.04LTS安装在一个4TB硬盘上。我正在处理一个大型数据集(超过30 GB和15万张图像)。我的系统上有一个11 on的GTX 1080 Ti GPU卡。我正在训练一个用Keras写的面具D1。我注意到，从HDD将15万张图像的整个数据集传递给一个GPU至少需要几个星期的时间来处理一个时代。因此，我想加快将图像传递给GPU的速度。
所以我买了一个256 GB的SSD，并将它挂载，然后只将图像目录复制到SSD。然后我开始训练Keras模型。所有python文件，包括Anaconda安装都在HDD上。我注意到仅仅将图像移到SSD并没有加快训练的速度。有人知道如何通过从S
浏览 0提问于2018-10-22得票数 1
2回答
我有一个不平衡的分类问题。
我首先将数据划分为训练集(数据集A)和测试集(数据集B)。
然后，我使用R包ROSE同时对Dataset A中的多数类进行了欠采样，并对少数类进行了过采样。这产生了一个平衡集(Dataset C)，其行数与Dataset A一样多。
我已经在数据集C和计算训练AUC上训练了我的模型。现在我想使用k倍交叉验证来估计(即不使用Dataset B)测试AUC。我该怎么做才好呢？
浏览 0提问于2018-04-04得票数 1
1回答
假设您有一个数据集所在的文件夹(很多图像)。您希望将这些图像提供给深层神经网络进行训练(对于我来说，目前使用的是Tensorflow )。
出现在脑海中的第一个解决方案(非常不优雅和初学者的解决方案)是将图像存储在一个数组中。对于小型数据集来说，这是可以的，但是当数据集很大且图片很大时，这并不是一个可行的解决方案，因为我们将没有足够的内存。
解决方案是分批读取数据。
我正在努力实现这一点。我感兴趣的数据集是文化技术公司的加州理工学院--UCSD Birds 200。dataset提供了一个文本文件，其中每行包含每个图像的路径。这有助于事情的发展。我的解决方案(我正在尝试实现)是定义一个类。模板
浏览 0提问于2018-08-02得票数 0
回答已采纳
1回答
我必须为我的脸验证项目在谷歌colab免费训练7万张图片。首先，它被困在第一个时代，然后，即使它开始训练，有时它抛出内存错误。我使用的代码是：
<https://nbviewer.org/github/nicknochnack/FaceRecognition/blob/main/Facial%20Verification%20with%20a%20Siamese%20Network%20-%20Final.ipynb>
如果我必须对我的数据集进行小批量处理，以便将其放入colab的GPU内存中，那么我如何才能做到呢？此外，我想训练整个数据集，因为它包含了5个不同的人作为锚和积极的图
浏览 15提问于2022-01-27得票数 0
2回答
我有一个由36个数据点组成的训练集。我想在上面训练神经网络。我可以选择批次大小，例如1、12或36 ( 36可以除以的每个数字)。
当然，当我增加批处理大小时，训练运行时会大大减少。
如果我选择12作为批次的大小而不是1，会有什么缺点吗？
浏览 5提问于2015-07-15得票数 2
回答已采纳
3回答
我正在训练这个问题底部链接的Keras对象检测模型，尽管我认为我的问题既不涉及Keras，也不涉及我试图训练的特定模型(SSD)，而是与在培训期间数据传递给模型的方式有关。
这是我的问题(见下图)：我的训练损失总体上正在减少，但它显示出有规律的尖峰：
X轴上的单位不是训练时代，而是几十个训练步骤.尖峰精确地每1390个训练步骤发生一次，这正是我的训练数据集上一次完全通过的训练步骤的数量。
每次通过训练数据集后都会出现尖峰，这一事实使我怀疑，问题不在于模型本身，而在于它在培训期间提供的数据。
在培训期间，我使用生成批处理。我检查了生成器的源代码，它在每次使用sklearn.utils.
浏览 6提问于2017-12-15得票数 23
回答已采纳
1回答
我有两个对象检测模型的实例。这两种模式之间唯一的区别是所使用的培训数据：
第一个模型是用一个小的训练集来训练的。
第二个模型是在比第一个模型更大的训练集上训练的。
对第一个模型进行了以下超参数的培训：
迭代次数:250 k
批次大小: 10
学习速率:150 k迭代后，升温到0.001，下降到0.0002。
因为第二个模型有更多的训练数据，所以我假设我需要稍微修改一下超参数。因此，我尝试在以下超级参数上训练第二个模型：
迭代次数:600 k
批次大小: 10
学习速率:400 k迭代后升温至0.001，下降至0.0002。
当我在测试集上测量两个模型的mAP时，第一个模型的性能大大优于第二个模
浏览 0提问于2020-02-05得票数 1
回答已采纳
1回答
我已经训练了一个logistic回归模型。现在我必须用新的训练数据来更新(部分拟合)模型。有可能吗？
浏览 1提问于2018-07-30得票数 4
回答已采纳
1回答
我想预测二手车的价格，我有销售汽车的历史数据。我将数值缩放为0-1，并使其他特性成为热点。
public RestResponse<JSONObject> buildModelDl4j( HttpServletRequest request, HttpServletResponse response, @RequestBody Map<String, String> json ) throws IOException
{
RestResponse<JSONObject> restResponse = ControllerBase.getRe
浏览 0提问于2019-05-21得票数 1
我在Google Colab上和Keras一起做图像分类。我使用tf.keras.preprocessing.image_dataset_from_directory()函数()加载图像，该函数返回tf.data.Dataset对象：
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split=0.2,
subset="training",
seed=1234,
image_size=(img_height, img_width),
浏览 6提问于2020-07-28得票数 1
回答已采纳
我有一个用stringtowordvector构建的arff文件，它包含一些特性，它的TFIDF鬼魂如下所示：
@relation 'sss'
-weka.filters.unsupervised.attribute.StringToWordVector-R-W100-prune-rate-1.0-C-T-I-N0-S-stemmerweka.core.stemmers.NullStemmer -tokenizerweka.core.tokenizers.WordTokenizer -delimiters \" ؟،؛\\r\\t\\n.,;:\\\'\\\&#
浏览 2提问于2014-01-14得票数 0
2回答
在Keras中多次调用"fit“
、、、、
我在CNN上做过超过几百GB的图片。我已经创建了一个训练函数，它从这些图像中提取4 4Gb的数据块，并对每个图像块调用fit。我担心我只在最后一部分上进行训练，而不是整个数据集。
实际上，我的伪代码如下所示：
DS = lazy_load_400GB_Dataset()
for section in DS:
X_train = section.images
Y_train = section.classes
model.fit(X_train, Y_train, batch_size=16, nb_epoch=30)
我知道API和Keras论坛说这将对整个数据集进行
浏览 1提问于2016-09-01得票数 45
回答已采纳
1回答
Gridsearhcv使用StratifiedKFold或KFold。因此，我的问题是，在使用网格搜索之前，我是否应该将数据分成训练和测试，然后只对测试数据进行拟合？我不确定是否有必要，因为cv方法已经拆分了数据，但我已经看到了一些预先拆分数据的示例。
谢谢。
浏览 0提问于2017-07-29得票数 13
回答已采纳
1回答
在训练神经网络中混洗批量数据
、、、、
我有6.5 GB的训练数据要用于我的GRU网络。我打算将训练时间分开，即暂停和恢复训练，因为我使用的是笔记本电脑。我假设我需要几天的时间来训练我的神经网络，使用整个6.5 GB，所以，我将暂停训练，然后在其他时间再次恢复。
这是我的问题。如果我要打乱训练数据的批次，神经网络会记住哪些数据已经用于训练吗？
请注意我使用的是tf.train.Saver().save的global_step参数。
非常感谢您的提前！
浏览 13提问于2017-07-31得票数 2
回答已采纳
4回答
我一直试图使用tensorflow对象检测API来训练对象检测模型。
当batch_size为1时，网络进行了很好的训练。但是，增加batch_size会导致一些步骤后的错误。
网络：
train_config: {
batch_size: 1
optimizer {
momentum_optimizer: {
learning_rate: {
manual_step_learning_rate {
initial_learning_rate: 0.0002
schedule {
ste
浏览 2提问于2020-01-28得票数 1
我已经建立了一个数据管道。伪代码如下：
数据集->
数据集=扩充(数据集)
dataset = dataset.batch(35).prefetch(1)
dataset =set_from_generator(to_feed_dict(数据集))#昂贵的op
dataset =Cache(‘/tmp，dataset)
数据集= dataset.unbatch()
dataset = dataset.shuffle(64).batch(256).prefetch(1)
To_feed_dict(数据集)
需要1至5项行动才能产生预先训练过的模型输出
浏览 1提问于2019-02-28得票数 0
1回答
以下内容来自Keras教程
这种行为是在TensorFlow 2.0中引入的，目的是使layer.trainable = False能够在convnet微调用例中产生最常见的行为。
为什么我们要在微调卷积神经网络时冻结这一层？是因为tensorflow角的某些机制，还是由于批处理的规范化算法？我自己做了一个实验，我发现如果可训练不被设置为错误，这个模型往往会导致灾难性的忘记以前学过的东西，并且在最初的几个时代还会有很大的损失。原因是什么？
浏览 2提问于2020-07-21得票数 4
回答已采纳
1回答
我对ML很陌生。我正在尝试创建一个在多个列表之间平均分布的训练数据集，每个列表都有不同类型的数据。我该怎么做？我查看了GroupKMeansFold和StratifiedFold，但我并不完全理解它。
以下是更多信息：
我有三个清单a，b，c。
a = [a1, a2, a3.... a10000]
b = [b1, b2, b3.... b10000]
c = [c1, c2, c3.... c10000]
我希望我的训练，测试，和val数据有70，15，15分裂。我还希望70%的培训数据在列表a、b、c之间均匀分布，与测试和val数据相同。
我希望训练数据有来自a、b和c的70
浏览 0提问于2022-07-29得票数 1
我正在学习使用RNN来预测市场指数，例如标准普尔500指数(注:这是标准普尔指数，而不是500家不同的公司)。除了价格变化数据，我还提供了其他信息，如RSI，MACD，EMA
然后我有3个标签，这是1w，2w，3w在未来，我从一个单独的CSV加载。
假设这是我的示例数据(完全虚构)：
price change RSI MACD EMA
0.3 3.2 0.1 0.0
-0.1 3.1 0.1 0.
浏览 0提问于2018-05-06得票数 0
我正在学习Udacity "AWS DeepRacer“课程，内容是关于自动驾驶汽车的强化学习。在一个教训中，他们说：
批量大小-这决定了有多少图像，随机抽样从最近的一集，用于培训之前，更新模型。
确定在更新训练权重之前，您将遍历批数据多少次。如果您的模型仍在改进，但其他方面的培训已经停止，则可能需要更多的时代。
学习速度-控制你的算法学习的速度(它扩大或缩小了每个时代之后的权重更新)。
使用使用Adam的Tensorflow和Keras，我了解到在每次批处理迭代之后都会更新权重。但是在这个过程中，他们说权值只有在每一个时代之后才会更新，并且批次大小决定了在更新模型之前需要遍历多少训练
浏览 0提问于2019-08-05得票数 2
回答已采纳
我有从羽毛文件中读取的数据，它分为x和y，其中y是数据的标签。x是DataFrame，y是DataFrame列。
该数据集是巨大的，我正在寻找一种方式，以适应它的内存GPU。
我试图通过限制model.fit来运行batch_size，但是它没有工作，所以我通过实验发现，我还需要限制x和y的大小才能工作。学习可以进行的实际大小是count=int(x.shape[0]/100)。
一种方法是从x和y中随机选择count项，并使用这些数据反复运行model.fit。看起来是这样的：
def get_sample_seletor(total_count,requested_count):
浏览 0提问于2023-02-05得票数 0
1回答
这是在vb.net中完成的。应用程序是在vs 2005 sa无实体框架为我启动。
我有一个团队目标和训练目标。各队有强制性的训练。培训对于多个团队来说是强制性的。经典的多到多关系(DB明智)
我在将数据从DB加载到对象时遇到了问题。如何分别加载团队或培训(列表)？有可能做到吗？还是我总是必须一起从DB加载它们。
看起来，为了加载团队，我需要预先加载训练，但是为了加载训练，我首先需要团队。
Team对象有一个培训字段列表。
对象有一个团队字段列表。
浏览 2提问于2014-07-15得票数 1
回答已采纳
1回答
我正在训练Catboost模型并使用Pool对象，如下所示：
pool = Pool(data=x_train, label=y_train, cat_features=cat_cols)
eval_set = Pool(data=x_validation, label=y_validation['Label'], cat_features=cat_cols)
model.fit(pool, early_stopping_rounds=EARLY_STOPPING_ROUNDS, eval_set=eval_set)
对于x_train、y_train、x_validatio
浏览 5提问于2021-06-15得票数 2
回答已采纳
我有250张人脸图像，我将用这些图像来训练模型。为了方便起见，我要做的是挑选前10个图像，并使用leave-one-out交叉验证来训练模型，以便每个图像都有机会成为测试图像。我所理解的是，在这种情况下，我的训练数据集的大小是9，测试数据集的大小是1。之后，我将获得下10个图像，然后使用它们来训练模型。在这种情况下，我的训练数据集的大小将是19，测试数据集将是1(这将重复发生20次，以便每个图像都有机会出现在测试集中)。同样，这个过程一直持续到我使用了所有的250张图像来训练模型。
我不理解的是“验证数据集”。我做错了吗？
在Stackoverflow上有一个答案，但我不清楚。这就是我发布这个
浏览 2提问于2014-07-31得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
