我的训练数据集太大，内存无法容纳，所以我的代码一次只能从磁盘读取1000条记录。现在我想使用Tensorflow的新。Dataset API是否允许我指定要在内存中保留的记录数，或者Tensorflow是否会自动管理内存以便我不必这样做？
浏览 8提问于2017-07-16得票数 8
1回答
我正在使用tensorflow构建基于CNN的文本分类。有些数据集很大，有些数据集很小。我的问题是:网络是批量训练的，每批代码都从系统<
浏览 1提问于2016-06-10得票数 2
我一直在研究Tensorflow中的高级接口，在中做得相当好。它似乎不允许流式输入，我想我需要一个不适合内存的训练集。
高级API是否支持这一点？我在看资料，但我不太清楚。附注:与有些关系，但如果可以的话，我想坚持使用高级API。
浏览 0提问于2017-09-20得票数 0
我想使用Tensorflow API的模型SSD MobileNet v2在一个相对较大的数据集上训练对象检测器(大约3000幅图像用于训练，500幅用于测试)。我已经成功地管理了所有必要的预处理步骤，创建了train.record和test.record文件，并尝试使用train.py运行模型的培训，但是培训过程被内核所扼杀。>Killed
我找到了一些信息，说明问题可能是因为我的机器上缺少RAM。在此之前，
浏览 0提问于2018-05-22得票数 1
我的数据集的输入和标签分别存储在10000个.npy文件中。虽然每个文件可以独立地存储在内存中，但20k数组的整个数据集不能存储在内存中。我希望实现多线程CPU管道，将数据集作为批处理(比如batch_size=8 )导入。我试图实现新的Tensorflow数据API中提到<
浏览 0提问于2018-05-07得票数 1
回答已采纳
2回答
我有一个非常大的数据集: 7.9 GB的CSV文件。其中80%作为训练数据，其余20%作为测试数据。当我加载训练数据(6.2 GB)时，我的MemoryError是在第80次迭代(第80个文件)。下面是我在加载数据时使用的脚本：import os
col_names = ['duration', 'service', 'sr
浏览 1提问于2017-07-25得票数 6
回答已采纳
==================Trainable params: 7,525,121培训是成功的，我将模型保存为model.h5from tensorflow.keras.models import load_model
from kerasResourceExhaustedError:0/device:0/GPU:0通过分配器GPU__bfc分配张量时
浏览 8提问于2020-05-08得票数 0
回答已采纳
1回答
深度神经网络内存不足
、、、、
我用Tensorflow编写了一个模型，我的PC内存用完了，然后我在Google Colab上尝试了同样的方法，得到了同样的结果。我的数据集形状最初是这样的： (541909, 8) 问题是我的数据集有一个名为'Description'的行，看起来是这样的： 0 WHITE HANGING HEART T-LIGHT
浏览 14提问于2020-08-03得票数 1
回答已采纳
在keras中一次只能加载内存中的一批，因为我有40 as的图像数据集。path_queue = tf.train.string_input_pro
浏览 9提问于2017-11-09得票数 13
回答已采纳
我有一个产生特征和目标张量的函数。例如。如何将此与TensorFlow的dataset API集成用于持续培训？理想情况下，我希望使用dataset来设置诸如批处理、转换之类的内容。编辑以澄清:问题在于，我不仅要将x和t放在图形中，而且要从它们中生成数据集，这样我就可以使用我为(正常)有限数据集实现的相同数据集</
浏览 7提问于2017-11-15得票数 3
回答已采纳
当使用Tensorflow的Dataset API构建输入管道时，batch出现了很多。例如：或。但是，我还没有得到一个很好的答案，那就是数据集生成中的批处理首先解决了什么问题，或者我为什么要使用它。有人能启发我吗？我假设dataset批处理是对GPU最大吞吐量的优化，在内存有限的情况下，尤其是当整个数据集不适合内存时。还有其他情况吗？我对bat
浏览 3提问于2021-01-21得票数 1
我正在尝试用tf.Dataset作为我的数据集来拟合Keras模型。我指定了参数steps_per_epoch。input to a model, you should specify the 'steps_per_epoch' argument.此错误使我感到困惑，因为我将steps_per_epoch参数指定为数据集的长度我已经尝试了None以及小于我的数据集长度的整数，但都没有用。下面是我<
浏览 1提问于2019-06-20得票数 0
我正在从事一个深度学习项目，我正面临一个数据集大小的问题。我想为视频数据集顺序事项制作一条管道。因为如果我尝试加载整个数据集，那么TensorFlow通过一个错误，这间接意味着内存不足。我在官方的TensorFlow文档中阅读了关于tf.keras.preprocessing.image.ImageDataGenerator、tf.data和tf.data.Dataset的
浏览 0提问于2022-09-30得票数 0
我使用的是Tensorflow的批处理输入管道，它使用tf.train.slice_input_producer并使用tf.train.shuffle_batch从它读取批处理。问题是，对于简单的模型，每个批处理的完成速度快于输入生产者将下一个批处理从磁盘读取到队列中的速度。磁盘带宽不足。但是，完整的数据集可以放入内存中。有没有一种方法可以修改Tensorflow
浏览 0提问于2016-11-14得票数 0
1回答
我目前正在研究RnD的TensorFlow (CPU版本)，但无法确定我的系统对大型数据集培训的基本需求，也可能是偶然在TensorFlow库中发现了一个可能的错误。然而，在最初的研究过程中，我尝试运行TensorFlow Seq2Seq模型(将英语翻译为法语)，其中培训和测试数据集最初占用大约7-8GB的磁盘空间，整个磁盘空间为20-22Gb。
浏览 4提问于2017-03-31得票数 0
回答已采纳
我正在尝试在我的自定义图像数据集上运行Tensorflow的。我以前没有使用过Tensorflow和神经/conv网的经验，所以这对我来说也是一次学习的经历。有两个实现示例，一个用于CIFAR10数据集，另一个用于ImageNet数据集。我选择使用CIFAR10 10的示例作为基线，因为它似乎更容易开始，而且我已经熟悉了CIFAR10数据</em
浏览 0提问于2018-04-19得票数 1
回答已采纳
最近，我使用Tensorflow和PyTorch实现了一个VGG-16网络，数据集是CIFAR-10.每张图片为32 * 32 RGB。一开始我使用64批大小，而我发现PyTorch使用的GPU内存比tensorflow少得多。然后我做了一些实验，得到了一个数字，张贴在下面。
经过一些研究，我知道了tensorflow使用BFC算法来管理内存。因此，它可以解释为什么tensorflow的<e
浏览 0提问于2017-11-27得票数 10
我正在训练一个卷积神经网络，我的代码的行为与我是否注释掉这一行有很大的不同：注释掉这一行后，TensorFlow非常流畅，大约占用8 GB。当这一行没有被注释掉时，TensorFlow将消耗我整个系统上的所有内
浏览 0提问于2016-07-10得票数 1
使用Tensorflow的新Dataset API进行多GPU培训(来自TFRecords格式)似乎要比在单个GPU上运行(1对4 Tesla K80s)慢得多(1/4慢)。从nvidia-smi的输出来看，使用4个GPU只会使GPU的利用率达到15%左右，而单个GPU的利用率大约为45%。
从磁盘(tfrecords-格式)加载数据是否会导致培训速度的瓶颈？使用常规feed-dicts，将整个数据集加载到
浏览 3提问于2017-09-22得票数 2
我正在尝试添加图像摘要操作，以可视化我的网络如何管理重建来自验证集的输入。但是，由于验证集中有太多的图像，我只想绘制其中的一小部分。我设法通过手动训练循环实现了这一点，但我努力使用新的Tensorflow估计器/实验/数据集API来实现同样的目标。有没有人做过这样的事情？
浏览 1提问于2017-12-03得票数 1
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
