假设我们有20万张标签为“1”的图片，另有20万张标签为“0”的图片依次转换为tensorflow的tfrecord。我试着用tf.train.shuffle_batch()把to记录弄乱了。问题是，如果没有巨大的min_after_dequeue，我无法充分地混洗数据，而如果min_after_dequeue.Is太大，它将耗尽内存，有什么解决方案吗？
谢谢!
浏览 18提问于2017-03-08得票数 0
今天，我用我的图像创建了一个.tfrecords文件。图像的宽度为2048，高度为1536。所有的图像几乎都是5.1GB，但是当我使用它来制作.tfrecords时，它几乎是137GB！更重要的是，当我使用它进行训练时，我会得到一个类似于CUDA_ERROR_OUT_OF_MEMORY的错误。:906] DMA: 0 I tens
浏览 4提问于2017-07-07得票数 1
我是Tensorflow的新用户。我想用它来训练一个有2M张图像的数据集。我在caffe中使用lmdb文件格式做了这个实验。在阅读了Tensorflow的相关文章后，我意识到TFRecord是最适合这样做的文件格式。因此，我正在寻找使用TFRecord数据的完整CNN示例。我注意到与图像相关的教程( 和中的mnist和cifar10 )提供了一种
浏览 0提问于2016-10-03得票数 3
1回答
我找到的关于TFRecords的所有文档都是一个接一个地生成tf.train.Example()的，并使用ex =generate_example(features) # Returns tf.train.Example() instance由于我处理的是非常大的数据，我知道我将为单独编写示例付出高昂
浏览 0提问于2018-04-11得票数 4
我想用tensorflow来做的对象检测。有没有什么好方法可以写一个数据文件让tensorflow读取？或者只是在tensorflow中读取原始XML文件？下面是一个图片示例：
浏览 55提问于2016-09-02得票数 3
回答已采纳
是否有任何方法直接将.tfrecords文件拆分为多个.tfrecords文件，而无需回写每个Dataset示例？
浏览 0提问于2019-02-04得票数 13
回答已采纳
我正在处理Tensorflow中的大量数据。我搜索了一下，但没有找到两者之间的任何相关比较。有没有人知道他们的优点和缺点，
浏览 1提问于2018-01-12得票数 1
回答已采纳
我最终想要实现的是在tensorflow框架下训练一个完全连接的神经网络来解决多类分类问题。
这个问题的挑战在于训练数据的规模很大(~ 2TB)。为了使训练在有限的内存下工作，我想将训练集保存到小文件中，并使用小批处理梯度下降算法来训练模型。(每次只有一个或几个文件加载到内存中)。现在我已经有了两个带有处理数据的数据帧，一个带有X_train (
浏览 6提问于2017-10-11得票数 19
我有一个可变长度序列的数据集( tensorflow TFRecord数据集)来馈送LSTM网络，我想尝试比较批处理中的前后填充，但当前的padded_batch函数仅在序列末尾填充。我知道我们在应用程序接口中有tf.keras.preprocessing.sequence.pad_sequences函数，但我不知道如何将该函数应用于数据集批处理程序。tensorflow中
浏览 14提问于2019-10-23得票数 2
1回答
现在我有了一个对象分类任务，并且我有一个包含大量视频的数据集。在每个视频中，一些帧(不是每一帧，大约16万帧)都有它的标签，因为一个帧可能有多个对象。
我对创建数据集有些困惑。我的想法是首先将视频转换为帧，然后将每一帧只有标签的帧转换为tfrecord或hdf5格式。最后，我将使用for my task将每个帧的路径写入csv文件(训练和验证)。我的问题是: 1.是否有足够的效率(tfrec
浏览 18提问于2019-03-26得票数 2
回答已采纳
我对TensorFlow非常陌生，以前从未与TFRecords合作过。
我想要做的是将培训、验证和测试数据加载到TensorFlow中，其方式类似于加载内置数据集时所发生的情况，例如，您可以像这样加载MNIST<
浏览 14提问于2022-10-10得票数 0
回答已采纳
我是keras的新手，在这里我正在尝试迁移学习：
然而，我的数据集不是二进制的，并且我有tfrecord文件。我可以在tensorflow中读取文件。我不想将图像作为输入提供给网络，因为输入来自预先训练的模型。如何在Keras中传递ImageDataGenerator类中的图像和标签。
浏览 0提问于2019-07-12得票数 1
我试图使用tf.train.shuffle_batch来使用TFRecord文件中的批数据，使用TensorFlow 1.0。如果我在会话中调用eval()，它将显示所有的1000个元素。但是如果我想把它放到一个批处理生成器中，它就会崩溃。从TFRecord文件中提取批处理？注意，我可以手动编写一个函数，该函数可以分割原始字节数据并进行某种批处理--如果我使用feed_dict方法
浏览 1提问于2017-06-08得票数 1
回答已采纳
当我使用Pipe而不是File作为input_mode时，对File的调用将无限期挂起，没有错误消息。相应地，我将TensorFlow Dataset替换为Pipemodedataset。我的数据由两个s3桶组成，每个桶中包含多个tfrecord文件。尽管对文档进行了广泛的研究，但对于如何在本例中使用Pipemodedataset，特别是如何设置channel，我还是不太自信。这是我的Sag迈笔记本电脑的设置：
hy
浏览 5提问于2021-11-04得票数 3
我正在遵循的指导，在dataset城市景观上训练所提供的模型。python deeplab/train.py \ # ... some unrelevant flags
--train_logdir然而
浏览 7提问于2019-10-29得票数 1
回答已采纳
1回答
我使用具有划时代限制的tf.train.string_input_producer将数据输入到我的模型中。在训练过程中，我怎样才能得到这一行动的当前时代？我注意到图中有一些与这个op相关的节点，其中一个包含了时间限制，但是我找不到实际的当前值存储在哪里。这肯定是被追踪到什么地方了？
更普遍地说，如何监视TFRecords管道中的当前时代？
浏览 0提问于2017-05-20得票数 3
回答已采纳
Example中的每个TFRecord都包含一个jpg，其形式为字节字符串、高度、宽度、深度、转向和节流标签。据我所知，TFRecord中的所有字节字符串图像都没有损坏。
我找不到关于StatisticsGen和处理图像数据的具体例子。根据，Tensorflow数据验证可以处理图像数据。除了计算默认的数据统计之外，TFDV还可以
浏览 1提问于2020-03-07得票数 3
回答已采纳
我有一个具体的例子，即网络相对较小，为了收敛和泛化，我应该保持小批大小(例如256)，这将导致每一个时期处理数百批。不幸的是，在这个场景批处理中，加载和损失计算成为瓶颈(正如timeline工具告诉我的那样)。在TensorFlow中，您可以编写类似的东西来加载GPU上的数据： train_data = tf.constant(
浏览 0提问于2017-10-11得票数 24
我正试着用一个自定义的数据集来喂养我的大脑。Tensorflow 给出了一个对象，我可以在其中请求另一批训练数据并将其输入，所以我尝试做一些类似的事情。它以数据(train_x)的形式返回张量列表，以one_hot标签(train_y)的形式返回张量列表。问题是，对这些图像进行评估需要花费大量的时间，最终我要等10秒才能看到"1“打印出来的"2”。
浏览 6提问于2016-12-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
