使用带有tensorflow2.0的多个gpu训练get错误:超出范围:序列结束

文章/答案/技术大牛

发布

1回答

python、tensorflow、tensorflow2.0

我正在使用tensorflow2.0和多个GPU进行训练。它得到了以下错误。但如果我只使用一个GPU，它运行时没有任何错误。我的tensorflow版本是tensorflow-gpu-2.0.0：distributed_function ->

浏览 26提问于2019-11-15得票数 5

1回答

使用tensorflow时AWS g2.8x大性能和内存不足问题

python、tensorflow、deep-learning、recurrent-neural-network

我使用的是带有Ubuntu 14.04的AWS g2.8xlarge，以及最近的每晚构建的tensorflow (我于8月25日下载)。从表面上看，CPU和GPU的利用率都很低。我已经对此运行了多个测试(并在此过程中使用了line_profiler和memory_profiler )。训练持续时间与纪元数成线性关系，所以我用1个纪元进行测试。此外，除了一个vCPU之外，所有其他<e

浏览 15提问于2016-09-08得票数 2

3回答

PyTorch代码以消息“被杀”结束。是什么杀了它？

linux、pytorch

我用Pytorch在GPU上训练一个网络。然而，在最多3个时代之后，代码以一条消息结束：没有提供其他错误消息。我监控了内存和gpu的使用情况，在运行过程中仍然有空间。我查看了/var/sys/dmesg，以找到与此有关的详细消息，但是没有输入带有“杀死”的消息。有什么问题吗？ Cuda版本: 9.0火炬版本: 1.1.0

浏览 4提问于2020-06-24得票数 6

回答已采纳

1回答

我应该直接返回dataset，还是应该使用one_shot迭代器？

python、tensorflow、iterator、pipeline、tensorflow-datasets

我正在使用Dataset API构建数据管道，但是当我训练多个GPU并在输入函数中返回dataset.make_one_shot_iterator().get_next()时，我得到 ValueError: dataset_fn() must return a tf.data.Dataset when using a tf.distribute.Strategy 我可以按照错误消息直接返回数据集，但我不理解iterator().get_next()的目

浏览 11提问于2019-02-05得票数 6

回答已采纳

1回答

我们可以使用多gpu训练来恢复一个由单个gpu训练的模型吗？

tensorflow

当我使用多个gpu加载单次训练的模型时，我得到以下错误消息： with tf.Graph().as_default():for <e

浏览 2提问于2016-06-07得票数 0

1回答

对于导致这个TensorFlow错误的原因有什么想法吗？(对象从未被使用)

python、tensorflow、keras

我正在使用Tensorflow后端在Keras上训练序列到序列模型，主要遵循教程。我在带有TensorFlow GPU的Power8机器上使用P100 v1.2.1 Object我试图寻找未使用的操作/张量，但找不到。然后，我标记了所使用的</

浏览 2提问于2018-07-09得票数 2

回答已采纳

2回答

SageMaker与keras.utils.multi_gpu_model一起使用多GPU时失败

tensorflow、keras、amazon-sagemaker

使用自定义模型运行AWS SageMaker，在多gpu配置中使用Keras加上Tensorflow后端时，TrainingJob在算法错误中失败： from keras.utils import multi_gpu_modelCloudWatch日志记录没有进一步的错误或异常。这种配置正确地工作在本地机器与2x NVIDIA GTX 1080，同样的Keras Tensorflow后端。在没有后续的应用程序日志记录之后，Traini

浏览 1提问于2018-11-26得票数 0

回答已采纳

1回答

添加GPU卡会自动缩放tensorflow的使用吗？

tensorflow、deep-learning、gpu、scalability

假设我可以在我的带有tensorflow的GTX 1070卡上使用样本大小N、批处理大小M和网络深度L进行培训。现在，假设我想使用更大的样本2N和/或更深的网络2L进行训练，并摆脱内存错误。插入额外的GPU卡会自动解决这个问题(假设所有GPU卡的总内存量足以容纳批处理及其渐变)吗？还是说纯粹的坦索弗洛是不可能的？我读到

浏览 4提问于2017-07-15得票数 2

回答已采纳

1回答

多GPU在n_jobs == 1在GridSearchCV中的意义

scikit-learn、keras

我一直在训练神经网络模型，使用Keras框架与4 NVIDIA GPU。(数据行计数：~160,000，列数: 5)。现在我想使用GridSearchCV来优化它的参数。但是，每当我试图将n_jobs更改为一个值以外的其他值时，就会遇到几个不同的错误。错误，如Can not get device properties error code : 3 然后我读到了这个网页，&quo

浏览 0提问于2018-09-03得票数 4

1回答

在多个GPU上训练一个单火炬模型，其中有些层是固定的？

python、machine-learning、parallel-processing、gpu、pytorch

我在使用pytorch 时遇到了一些问题。情况是：但有两个训练阶段。在第一阶段，我想修复 layer0和layer1 of B。在第二阶段，只为修复layer0。在训练过程中应改变layer1参数的layer1值。然而，DistributedDataPa

浏览 3提问于2019-12-02得票数 0

1回答

如何修正"ResourceExhaustedError: OOM .“？

python、tensorflow、machine-learning、memory、keras

我正在尝试用Python和Keras一起用自己的数据集来训练一个简单的MLP。这个数据集包含一个1024x1204大小的规范化图像，我需要这个分辨率，因此我不能缩小图像的大小。，并在/job上键入float /job:localhost/replica:0/task:0/device:GPU:0时，分配器GPU__bfc为0 这个错误发生在第一层，所以在训练开始之前。我在朱莉娅<

浏览 0提问于2019-08-17得票数 0

3回答

CUDA|使用Keras model.fit_generator内存不足

tensorflow、machine-learning、keras、deep-learning、gpu

我有一个具有通道最后配置的(300,226,226,3)形状的视频数据输入&我的输出是(300,1)存储为numpy数组格式。因为我不想一次加载所有的数据，因为它大约是120 it。我的代码非常简单：import sysimport tensorflow as tfvalidation_steps=len(val_ids), epochs=100, verbose=1, shuffle=Fa

浏览 0提问于2019-12-02得票数 0

1回答

KSQL WARN警告:窗口结束时间被截断为Long.MAX是什么意思？

apache-kafka、ksqldb

我得到了ksql Warning:窗口结束时间在ksql SERVER.STDOUT中被截断为Long.MAX。我想知道这个警告是在什么场合被触发的，以及它的重要程度，因为生成这个警告的查询也从功能的角度提供了预期的结果。审查了ksql源代码-尝试理解处理的警告的预期含义及其重要性程度查询工作正常-仅显示此警告:窗口结束时间在ksql-server.stdout中被截断为Long.MAX。

浏览 25提问于2019-10-16得票数 3

1回答

高效、好、并行与训练相对应的LSTM训练研究

python、machine-learning、neural-network、keras、lstm

对于一个我打算自发地生成序列的模型，我发现训练它的样本和保持状态之间的感觉是最自然的。在阅读了许多有用的资源之后，我成功地在Keras中构建了这个结构。然而，在咨询了我的任务管理器之后，它似乎只使用了我的GPU资源的10%，这已经相当有限了。我想改进一下，以加快训练速度。增加批处理大小将允许并行计算。处于当前状态的网络可能会“记住”一些事情，甚至

浏览 0提问于2018-08-08得票数 0

回答已采纳

4回答

当有GPU存在时，如何在TensorFlow中在一个脚本中训练多个模型？

python、machine-learning、tensorflow、neural-network

在训练结束时，假设我们只记录它的准确性，并去掉模型(如果你想假设模型经常被检查指向，那么直接扔掉模型并从头开始训练就可以了。)您还可以假设其他一些数据可能会被记录下来，比如特定的超视距、训练、验证、训练错误等)。当GPU每次尝试新型号时，我是否需要清除/释放它？实际上，我并不太在意这些模型是否在多个GPU中并行运行(这可能是一个很好的补充)，但我希望它能够先连续运行所有的

浏览 3提问于2017-02-23得票数 29

回答已采纳

2回答

Keras上的多GPU模型(具有状态的LSTM )不起作用

tensorflow、keras、lstm、multi-gpu

我正在使用有状态的keras (Tensorflow后端)处理LSTM模型，我不能在多GPU平台上并行化它。。我收到了跟随错误。false，recv_device="/job:localhost/replica:0/task:0/cpu:0"，send_device="/job:localhost/replica:0/task:0/gpusequential_1/dense_1/

浏览 4提问于2017-11-08得票数 1

1回答

Tensorflow中的可扩展、高效的层次化软件？

tensorflow、softmax

例如，至少已经表明，当使用每个节点sqrt(N)类的2层树时，HS可以对大型语音达到~25x加速。我还对具有任意分支因子的任意深度树的更一般版本感兴趣。这就产生了大批大小和胖树的问题，现在这些系数被复制了很多，导致OOM错误。2)与#1类似，我们可以使用tf.embedding_lookup，它可以保持对OOM错误的帮助，但是现在将所有的东西都保存在CPU上，并使事情慢下来很多。3)使用tf.map_fn和paral

浏览 5提问于2017-05-23得票数 22

0回答

Python (Pytorch)多处理抛出错误:对等设备重置连接和找不到文件

python、multiprocessing、pytorch

通过让CPU与GPU并行工作(而不是让CPU抓取批处理，并让GPU在训练该批处理之前等待CPU )，我应该能够将我的训练时间减少大约一半。我已经对CPU抓取一个小批量的时间进行了基准测试，它花费的时间与我的GPU在一个小批量上训练所需的时间相当，所以并行CPU和GPU应该可以工作得很好。因此，我尝试使用torch.multiprocessing模块来做我想做<em

浏览 10提问于2017-12-12得票数 4

2回答

是否有一种方法可以直接将图像数据从主文件夹加载到培训和验证生成器，而不是再次创建单独的相同文件夹？

python、tensorflow、machine-learning、keras、deep-learning

我正在研究一个多类分类模型--它有4000多个类--这意味着每个类有4000多个文件夹--每个类占用大约30 of的空间，为了训练分类模型，我要将图像复制到每个类的训练和验证文件夹中，以便在一个分类文件夹结构中我使用keras中的ImageDataGenerator API加载数据，并向模型提供如下所示的训练 train_generator = train_datagen.flow_from_directory&#x

浏览 3提问于2021-09-04得票数 1

回答已采纳

1回答

如何让CUDA在内核启动后返回控制权？

asynchronous、cuda

这可能是一个愚蠢的问题，但是有没有一种从内核异步返回的方法？例如，我有这样一个内核，它执行第一个流压缩，输出给用户，但在它必须执行第二个流压缩以更新其内部结构之前。有没有办法在第一次流压缩完成后将控制权交还给用户，同时GPU在后台继续进行第二次流压缩？当然，第二个流压缩只在共享内存和全局内存上工作，而不是用户应该检索的内容。我不能用推力。

浏览 1提问于2021-04-02得票数 0

点击加载更多