生成器OutOfRangeError中的Tensorflow数据集:序列结束

文章/答案/技术大牛

发布

2回答

python、tensorflow、keras、generator

返回生成器的函数： def img_x_gen(dir): for file in files: X_i = X_i / 255.0 yield X_i, X_i # It's an autoencoder so return X_i twice 创建数据集： OutOfRangeError: End

浏览 35提问于2020-07-23得票数 0

回答已采纳

4回答

如何使用TensorFlow的dataset API多次迭代数据集？

tensorflow、tensorflow-datasets

如何多次输出数据集中的值？(dataset由TensorFlow的Dataset接口创建) value = sess.run(next_element) print(j)tensorflow.python.framework.error

浏览 2提问于2017-11-02得票数 14

1回答

在增强训练期间，无法在Keras iterator.py中的断点处停止

python、keras、data-generation

我创建了一个数据生成器类的两个实例，扩展自keras序列类，一个用于训练，另一个用于验证数据。然而，在我的源代码级别上，我只能看到验证生成器在每个时期之间重复迭代。我看不到训练发电机。因此，我不能验证训练数据的增强是我想要的。在这些代码片段中，aug是一个参数字典，这些参数转到我的序列的myDataGen扩展中的</em

浏览 26提问于2021-02-11得票数 0

2回答

停止TensorFlow数据集`from_generator`的正确方法？

python、tensorflow、tensorflow-datasets

我想使用用TensorFlow构建的from_generator数据集来访问格式化文件。除了我不知道在生成器耗尽数据时如何停止Dataset迭代器(生成器只是在超出范围时永远返回空列表)之外，所有东西都能正常工作。我的实际代码非常复杂，但我可以用这个简短的程序来模拟情况： def make_batch_generator_fn(batch_size=10, dset_

浏览 0提问于2018-05-10得票数 3

回答已采纳

1回答

TensorFlow _1_洗牌批/随机_洗牌队列错误

tensorflow

我从官方的网站运行了一个名为cifar10的 TensorFlow 教程程序，但是在运行过程中我得到了以下错误： OutOfRangeError (see above for traceback): RandomShuffleQueue

浏览 0提问于2016-12-03得票数 0

2回答

OutOfRangeError在扩展Tensor2Tensor变压器TPU教程中的应用

google-compute-engine、tensor2tensor

我遵循了T2T变压器“训练语言模型”的例子，它用了10个训练步骤。然而，当扩展到250,000个步骤时，我会得到一个OutOfRange错误(如下)。这是解析或其他方面的问题吗？INFO:tensorflow:Init TPU system INFO:tensorflow:Starting infeed thread controller.INFO:tensorflow:Starting outfeed thread controller._extract_stack() # pylint: disable=protec

浏览 6提问于2018-07-06得票数 0

回答已采纳

2回答

FutureWarning:要堆栈的数组必须作为“序列”类型传递，例如列表或元组。不支持非序列迭代。

python、numpy、tensorflow

我正在尝试将一个Tensorflow数据集转换为一个NumPy数组，并得到一个反对的警告：这样做的“新”方式是什么？numpy 1.18.1和tensorflow 2.1.0的可重现性示

浏览 3提问于2020-07-02得票数 6

1回答

在使用Dataset时重置OutOfRangeError后的Tensorflow图

tensorflow

我试图使用将多轮输入注入到一个图形中。在我的上，我使用使生成器连续运行3次。但是，批处理大小不是每轮迭代次数的偶数倍的 (10次迭代，批大小为3)，来自不同“轮次”/“纪元”的数据最终在同一批中结束(取决于处理张量的顺序；图中有一些并行性)。在我的上，我尝试在每个时代完成后重新运行迭代器。但是，一旦，所有对的后续调用都会再次抛出OutOfRangeError</

浏览 3提问于2017-08-30得票数 2

回答已采纳

1回答

我能有效地在Tensorflow.js进程之间传递Node.js张量吗？

javascript、node.js、tensor、tensorflow.js

我正在用Tensorflow.js和Node.js开发一个人工智能模型。作为其中的一部分，我需要以流的方式读取和解析我的大型数据集(它太大了，无法同时存储在内存中)。这个过程最终产生一对生成器函数(输入数据1，输出数据1)，迭代地产生Tensorflow.js张量： while(thereIsDatayield next_tensor

浏览 3提问于2020-07-27得票数 1

回答已采纳

2回答

训练和测试期间LSTM中的状态重置

tensorflow、deep-learning、lstm、recurrent-neural-network

我知道他们需要定义一个序列长度T，并且训练是分批进行的。所以我们向网络提供了几个长度为T的序列。现在LSTM需要一个先前的状态作为输入，据我所知，它被初始化为零。我的问题是，在每个序列之后，状态会重置为零吗？例如，我有一个序列1，状态向量在这个序列中向前推进，然后我将下一个序列的状态向量置为0？或者它被带到了下一个序列2？如果是这样，如何对不相关的</em

浏览 1提问于2017-01-23得票数 0

1回答

用tf.train.shuffle_batch多次循环数据

tensorflow

我正在使用tensorflow在mnist数据集上进行实践，该数据集有55,000幅培训图像(原始的60,000幅mnist图像中的5,000幅图像被保留用于验证)。目前，我正在使用tf.TFRecordReader在培训tf.record中阅读，随后使用tf.train.shuffle_batch进行培训输入。这个过程可以在mnist.py中的中的输入函数中找到

浏览 2提问于2016-07-24得票数 0

回答已采纳

1回答

从of记录数据集生成条带切片数据集。

python、tensorflow、tensorflow-datasets

从问题和讨论开始--我试图使用Dataset API来获取可变长度张量的数据集，并将它们切割成等长的片(段)。print(sess.run(it2.initializer))当然，我不想在生成器中传递会话，但是这应该由链接中给出的技巧来解决(创建一个虚拟数据集并映射另一个迭代器)。以上代码在圣经中

浏览 2提问于2017-10-06得票数 0

回答已采纳

2回答

如何在tensorflow中使用带有tf.distribute.MirroredStrategy的keras.utils.Sequence数据生成器进行多gpu模型训练？

keras、tensorflow2.0、multi-gpu

我想使用TensorFlow2.0在几个GPU上训练一个模型。在分布式培训(https://www.tensorflow.org/guide/distributed_training)的tensorflow教程中，tf.data数据生成器转换为分布式数据集，如下所示： dist_dataset = mirrored_strategy.experimental_distribute_dataset

浏览 35提问于2019-12-05得票数 5

回答已采纳

1回答

Tensorflow:使用整个验证数据集来验证网络，如何使用队列来实现它

tensorflow

我有一个包含10k样本的验证数据集，存储在一个文件中。我使用队列读取文件作为网络的输入，并将batch_size设置为128。因为10k / 128 = 78.125，所以队列可以出队78次，但剩下的(10k - 128 * 78 = 16)个样本没有验证，因为在78次出队操作之后，程序将抛出一个OutOfRangeError然而，我确实想验证确切的10k样本，包括最后的16个。如何在TensorFlow中

浏览 0提问于2016-11-23得票数 0

1回答

如何正确地在第一个时代(Tensorflow，dataset)缓存数据？

tensorflow、tensorflow-datasets

以下是我当前的代码(简化)：dataset = dataset.apply= dataset.prefetch(buffer_size=1)在第一个时代之后，我收到了以下错误消息：调用迭代器没有完全读取我们试图缓存的数据集为了避免序列的意外截断，将删除当前部分缓存的序列<

浏览 0提问于2018-05-24得票数 13

回答已采纳

1回答

Tensorflow迭代器返回元组的问题

python、numpy、tensorflow、tuples、tensorflow-datasets

我想迭代TF数据集，以便将获得的数据转换为numpy张量。作为tensorflow的新手，我的代码如下所示 sess = tf.Session(configlabels = torch.cat((labels,torch.Tensor([labelsTF.eval(session=sess)])),0) except tf.errors.OutOfR

浏览 42提问于2019-05-09得票数 0

回答已采纳

1回答

如何使用python处理内存中的大数据？

python、numpy、bigdata、pickle、dask

我有一个比我的记忆更大的数据集。一般来说，我必须循环350个点，每个点是一个大约80 Gb大小的数据集。通常，我只需要在一次处理一个文件就可以解决这个问题，但是现在我正在执行一种计算，要求我一次加载所有数据。我正在寻找如何解决这个问题的建议。我已经读过一些关于达斯克和火星雨的书了，但我不确定我需要什么。由于我正在对数据执行主成分分析( PCA )，所以我不能将数据分割成块，所以我需

浏览 2提问于2022-07-28得票数 0

1回答

TensorFlow数据集API from_generator序列错误结束

python、machine-learning、tensorflow、tensorflow-datasets

下面是玩具代码，它复制了我在尝试使用生成器生成/输入培训数据时遇到的一个问题。most recent call last): a = sess.run(next_x) File "test_itera

浏览 6提问于2017-11-27得票数 1

回答已采纳

1回答

TensorFlow 2.0数据集与Keras数据生成器

image、tensorflow、keras、datasheet

对于图像数据，只有Keras图像函数就足够了吗？ a. TensorFlow2.0数据集b. Python Pandas (或任何其他可用于图像和/或文本数据的库) c.Keras数据生成器，图像增强等。

浏览 16提问于2020-04-18得票数 1

1回答

GoogleML上的Tensorflow与TFrecords: OutOfRangeError* (见上面的回溯)：序列结束*

tensorflow、google-cloud-platform

当我们在本地运行时(在没有GPU的PC上)，我们的Tensorflow成功地(但缓慢)运行。但是当我们把它发送到GoogleML (单GPU)时，它却没有得到训练。代码或输入的数据没有变化。从TFrecords读取数据时发生错误。：错误2018-11-28 15:32:55 -0800服务OutOfRangeError (回溯见上文)：序列错误2018-11-28 15:32:55 -0800服务[节点: IteratorGetNext，因此我们认

浏览 0提问于2018-11-29得票数 0

点击加载更多