在TPU上训练时，验证损失变为nan，但在GPU上完全正常
。这个问题可能是由于以下几个原因导致的：
- 数据不匹配：TPU和GPU对于浮点数计算的精度要求可能不同。如果输入数据在GPU上是正常的，但在TPU上出现nan值，可能是因为在TPU上执行计算时，数据精度不够导致溢出或下溢。解决办法是检查数据的范围和精度，并进行必要的缩放或处理。
- 模型不兼容：有些模型可能在GPU上能够正常训练，但在TPU上出现问题。这可能是因为TPU对于某些操作的支持程度不同于GPU，或者TPU对于某些优化技术的处理方式与GPU不同。解决办法是检查模型的结构和使用的操作，确保其在TPU上的兼容性。
- 软件版本问题：TPU和GPU使用的驱动程序、库和框架可能存在版本差异，这可能导致在TPU上出现问题。解决办法是确保使用的软件版本兼容TPU，并根据需要进行升级或调整。
推荐的腾讯云相关产品：腾讯云AI加速器（Tencent AI Accelerator，TACC）是一种高性能计算加速器，适用于人工智能、深度学习等计算密集型任务。TACC支持多种框架和编程语言，提供高性能的计算和训练能力，可以有效地提升模型训练的速度和效果。
产品介绍链接地址：https://cloud.tencent.com/product/tacc
请注意，以上是一般情况下的可能原因和解决办法，具体情况可能因环境、数据和模型等因素而异。建议对具体情况进行详细分析和调试，或向相应的技术支持团队咨询以获得更准确的解决方案。
相关·内容
我在使用GPU和TPU的google colab训练中遇到了一个相当奇怪的问题，我使用了一个自定义损失，它可以在GPU上使用tfrecord数据集，但如果我切换到TPU，就会给出nan作为验证损失。没有其他特定的错误。此外，较旧的验证tfrecord数据集在TPU上运行良好。这让我觉得数据中可能有一些特定的东西。这显示在model.evaluate上(...)也是因为它在验证集上。 你知道怎么用TPU来调试这个吗？如有需要，可提供更多详情。
浏览 31提问于2020-09-27得票数 1
我是一个初学者，试图在Kaggle内核中使用Tensorflow处理TPU。我之前在GPU中使用数据集训练了一个Unet模型，现在我正在尝试在TPU中实现它。我从数据集图像和蒙版中创建了一个tfrecord，然后TFrecord返回图像和蒙版。当我尝试在TPU中训练时，损失总是Nan，即使度量精度是正常的。由于这是我在GPU中使用的相同模型和损失，我猜测问题出在tfrecord或加载数据集上。加载数据的代码如下：
def decode_image(image_data):
image = tf.image.decode_jpeg(image_data, channels=3)
浏览 1提问于2020-06-16得票数 1
我正在尝试创建一个tf模型，它可以检测到任何图像中的任何笔迹。为了做到这一点，我在所有的火车图片中制作了标签，只有一个标签:编辑。它的意思是，一个图像可以有这个标签很多次。
经过几个小时的使用cpu的训练，我没有得到预期的结果。在训练前，模型看不见我给你的任何块。
我使用的模型如下：
http://download.tensorflow.org/models/object_detection/tf2/20200711/efficientdet_d6_coco17_tpu-32.tar.gz
问题是，我给一个图像贴上了多次标签吗？
可能是使用cpu而不是gpu的问题吗？我目前有一个4gb的gpu
浏览 1提问于2022-11-22得票数 0
1回答
首先，这不是我的代码。我只是改变了它才能在TPU上训练它。原作者是。我能够在协作笔记本上的GPU加速运行时上运行它，但当我执行TPU加速运行时，它似乎会中断。
这是我的。它只是给了我一个错误，即激活函数的大小不合适。
ValueError: Error when checking target: expected activation_21 to have shape (1,) but got array with shape (205,)
我会感谢任何我可以得到的帮助，因为我花了3个小时的调试。
浏览 0提问于2018-12-04得票数 0
回答已采纳
当我执行在cifar10上描述的模型时，使用一个GPU大约4小时后，精度达到86%，当我使用2个GPU时，精度下降到84%，但在2个GPU上达到84%的精度比1快。
我的直觉是，在average_gradients中定义的函数返回一个不太精确的梯度值，因为梯度的平均值将比实际的梯度值更不准确。
如果梯度不太精确，那么参数比控制作为训练的一部分所学习的函数更不准确。看看代码()，为什么平均多个GPU上的梯度比计算单个GPU上的梯度还要精确呢？
我的直觉，平均梯度产生一个不太准确的值？
模型中的随机性描述为：
The images are processed as follows:
They ar
浏览 7提问于2017-05-08得票数 9
回答已采纳
我有一个Keras模型，它可以在单个GPU上进行良好的训练，但是当我在多个GPU上训练它时，所有用于培训的验证损失都是NaNs。
我正在使用一个fit_generator并调用一个验证生成器。在一个GPU上的训练损失和验证损失的返回值都是有效的，并且我的模型收敛，但是在2个或更多GPU上，训练损失是好的和有效的，但是验证损失都是NaNs。这是否任何人以前都遇到过的问题，有没有人对如何补救这个问题有任何建议？我在多台计算机上尝试过这些代码，每台计算机都有不同的Keras/Tensorflow兼容的CUDA GPU，但都没有效果。我可以成功地在任何计算机上训练，尽管只使用一个GPU。
model
浏览 0提问于2019-01-21得票数 1
1回答
我想看看用TPU和GPU训练模型有什么不同。 这是训练模型部分： import time
start = time.time()
tf.keras.backend.clear_session()
resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='grpc://' + os.environ['COLAB_TPU_ADDR'])
tf.config.experimental_connect_to_cluster(resolver)
#TPU initialization
tf.t
浏览 21提问于2021-03-26得票数 3
回答已采纳
是否有可能撤消最后一个训练步骤？例如，当损失值为'NaN‘时。
...
for step in range(num_epoch):
_, loss_value = sess.run([train_op, loss])
if np.isnan(loss_value):
# something like: sess.undo_last()
break
...
如果有这样的方法。它也适用于多GPU训练吗？
浏览 0提问于2018-01-12得票数 2
1回答
在拟合时，损失是NaN
、、、
我正在尝试用TensorflowJS制作python版本的Tensorflow的相同示例。不幸的是，当我运行脚本时，我不知道为什么训练时记录的损失值是NaN。
我想要实现的是一个简单的文本分类，它根据训练好的模型返回0或1。这是我正在关注的Python教程
这是我到目前为止已经翻译过的代码：
import * as tf from '@tensorflow/tfjs'
// Load the binding:
//require('@tensorflow/tfjs-node'); // Use '@tensorflow/tfjs-node-gpu&
浏览 1提问于2018-08-27得票数 2
我用keras后端tensorflow。
我的本地pc上有RTX gpu，我想在tpu(张量核)上训练keras模型。
有什么办法吗？
浏览 2提问于2019-07-27得票数 0
回答已采纳
由于TF2.0没有tf.contrib层，我如何转换我的模型来运行TPU上的培训，而不需要访问tf.contrib.tpu.keras_to_tpu_model()
我试着寻找代码，但所有代码都运行在TensorFlow 1.x上
我的数据是.npy的，我有一个简单的模型，我只使用model.compile()和model.fit()来训练它，但是看起来这个模型是在CPU上运行的(在GPU上需要30分钟/次而不是2分钟/次)。
浏览 4提问于2019-04-05得票数 7
我需要强制TPUEstimator使用CPU。我有一台租来的谷歌机器，GPU已经在运行训练了。因为GPU是空闲的，所以我想启动第二个Tensorflow会话进行评估，但我想强制评估周期只使用GPU，这样它就不会窃取GPU时间。 我假设在run_config或类似的文件中有这样做的标志，但我很难在TF文档中找到一个。 run_config = tf.contrib.tpu.RunConfig(
cluster=tpu_cluster_resolver,
master=FLAGS.master,
model_dir=FLAGS.output_dir,
save_c
浏览 79提问于2019-04-06得票数 2
我用Python从头开始编写了一个神经网络，我正在使用Google Colaboratory来训练它。但是，如果我启用GPU或TPU加速，训练速度不会更快。 当您在线搜索示例时，所有这些示例都使用Tensorflow和其他库，并且使用GPU比不使用GPU的训练时间更短。 我做得是否正确，或者是我遗漏了什么，GPU没有被使用？
浏览 11提问于2021-09-07得票数 0
回答已采纳
1回答
我想通过将--scaled-tier设置为basic-tpu来在TPU上训练我的TensorFlow模型。这在中被列为一个选项，但在中没有提到TPU。有没有办法知道使用TPU进行培训要花多少钱？
浏览 0提问于2017-11-25得票数 0
我正在训练一个语义切分模型。我使用的批处理大小为10个图像上的一个单一的GPU培训。我同时使用相同的超参数在多GPU (3 GPU)设置上进行训练.对于多GPU，我使用的批处理大小为30张图像，即每GPU 10张图像.
从理论上讲，在训练过程中，每个阶段的每一步损失值是否应该是单个GPU和多GPU训练过程中相同的值范围？
就我而言，这不是我目前在训练中所看到的情况。多GPU的损失是我从单GPU获得的损失的5倍。
欢迎任何意见/建议。
浏览 2提问于2019-01-31得票数 0
回答已采纳
1回答
您好，我的训练数据在标签中有很多缺失值，例如，单个标签可以具有以下值：
[nan, 0, 0, nan, 1, 0]
我想训练一个忽略NaN值的分类模型。目前，我已经用-1填充了NaN值，并尝试对其进行切片。掩码不起作用，因为分类交叉点仍然将其考虑在内。
ix = tf.where(tf.not_equal(y_true, -1))
true = tf.gather(y_true, ix)
pred = tf.gather(y_pred, ix)
return keras.objectives.categorical_crossentropy(true, pred)
是我到目前为止所能想到的，
浏览 4提问于2017-04-03得票数 4
2回答
我正在Google Colab上训练一些深度学习模型，运行时类型设置为TPU。RAM和磁盘状态显示我已经在Colab上使用了大部分磁盘存储。有没有办法重置它？或者删除一些东西来释放更多的磁盘空间？我知道我可以改用GPU，这会给我更多的磁盘空间，然而，我的型号需要永远改变，所以我真的想留在TPU上。提前感谢！
浏览 142提问于2019-11-28得票数 6
损失是根据使用py手电(而不是TensorFlow)创建的目标模型计算的，在传播时，我运行下面的代码，并出现以下错误消息。
loss.backward()
(可以毫无问题地计算前向传播。)
terminate called after throwing an instance of 'std::runtime_error'
what(): tensorflow/compiler/xla/xla_client/computation_client.cc:280 : Missing XLA configuration
Aborted
-pytorch(1.12.0+cu102)
浏览 36提问于2022-10-12得票数 1
1回答
伯特是如何利用TPU记忆的？
、、、、
在谷歌的伯特回购说，即使是一句长度为512不能坐在12 GB的泰坦X为伯特-大型号。
但是在BERT论文中，它说64片TPU芯片被用来训练最大长度512和批量大小256的BERT。它们怎么能把>256 x的大批装进仅仅171倍的内存中呢？
从另一个角度来看，我们可以在每个示例内存使用的基础上比较这两种配置：
TPU:假设在预培训中使用了TPUv3，那么总的TPU内存是32 GB /芯片* 64芯片= 2048 GB。本文认为，最大长度为512的256个批处理在这种配置中工作良好，这意味着8 GB内存可以容纳单个样本，而且如果使用GPUv2，则每个样本的内存使用量将减少到4GB。
浏览 2提问于2019-05-12得票数 2
我经常使用Google Colab来训练TF/PyTorch模型，因为Colab为我提供了GPU/TPU运行时。此外，我喜欢使用MLflow来存储和比较经过训练的模型，跟踪进度，共享等。在Google Colab中使用MLflow有哪些可用的解决方案？
浏览 12提问于2020-05-05得票数 3
2回答
这是一个过载的网络吗？
、、、、
我在keras中训练了一个神经网络，得到了这个结果，我想知道这是否太合适了。
我有怀疑，因为我读过，过度拟合是产生时，一个网络是过度训练，它发生时，验证损失增加。
但在这种情况下，它并没有增加。它保持不变，但训练损失减少。
额外信息
以这种方式拆分单个数据集：
70%的数据集用作培训数据
30%的数据集用作验证数据
500时代训练
2000时代训练
培训损失: 3.1711e-05验证损失: 0.0036
浏览 5提问于2017-04-03得票数 2
1回答
我需要使用TPUEstimator实现一个布尔掩码操作。未实现tf.boolean_mask。有解决办法吗？
下面的代码非常适合我在CPU和GPU上运行的目的：
all_out = model.get_sequence_output()
P = tf.boolean_mask(all_out, P_mask)
all_out是形状?的张量，128,768
P_mask是形状?，128，第二维是单热编码的，以表示要提取的期望张量。
所需的P形状为?,768
当我使用TPUEstimator在TPU上运行此命令时，我得到以下错误消息：
Compilation failure: Detect
浏览 0提问于2019-04-13得票数 2
1回答
我正在通过TFRecordDataset训练神经网络。然而，在每个时期结束时，即使用ETA: 0s，训练会停滞数十秒。作为参考，在大约25 of的数据集上(在解析特征的子集之前)，一个时期大约需要一分钟。 我使用Nvidia Titan RTX图形处理器运行TensorFlow 2.3.1。这是预期的行为吗？也许是由于输入管道中的预处理？预处理是仅由CPU执行还是将其分流到GPU？谢谢!
浏览 18提问于2020-12-16得票数 0
回答已采纳
7回答
汇总直方图中的Nan
、、、
我的程序有时会遇到这个问题(并不是每次运行都会遇到这个问题)，如果遇到这个问题，我总是可以在程序崩溃之前由于nan而保存的最后一个模型中重现这个错误。当从该模型重新运行时，使用该模型生成损失的第一个训练过程似乎没有问题(我已经打印了损失，显示没有问题)，但在应用梯度后，嵌入变量的值将变为Nan。
那么，nan问题的根本原因是什么呢？困惑，因为不知道如何进一步调试，这个程序与相同的数据和参数将大部分运行正常，只有在一些运行时才会遇到这个问题。
Loading existing model from: /home/gezi/temp/image-caption//model.flickr.rnn2
浏览 7提问于2016-10-04得票数 9
1回答
在培训期间，我可以看到GPU既处于活动状态，又在运行数据。然后，一旦训练完成，我看到GPU的活动下降到0，CPU也有一点下降。这与我生成培训数据的方式有关吗？
我有自定义的数据生成器为模型提供信息：
train_df, val_df = np.split(dataframe, [int(.8 * len(dataframe.index))])
trainbatches = math.ceil(len(train_df.index) / batchsize)
valbatches = math.ceil(len(val_df.index) / 1024)
train_gen1 =
浏览 7提问于2022-01-14得票数 0
由于我是一名学生，所以我只能省下最初的300美元，所以我需要尽量减少试错阶段。
我有一个基于Pytorch的模型，它目前运行在本地GPU上，在我的本地存储中有大约100 or的帧数据集，我正在寻找一个指南，展示如何设置一台机器来在我的Google (？)(或任何其他推荐的云存储)数据集中使用TPU来训练和测试我的模型。
我发现的指南与我的描述不匹配，大多数指南要么运行在GPU上，要么在TPU上运行，其中包含在dataset库中，我不想浪费时间和预算试图从这些片段中拼凑一个谜题。
浏览 8提问于2022-02-21得票数 1
回答已采纳
我一直在使用cifar10_multi_gpu_train示例中提出的训练方法进行(本地)多gpu训练，即创建几个塔，然后平均梯度。然而，我想知道以下问题:如果我只是将来自不同GPU的损失进行汇总，然后对新的损失应用梯度下降，会发生什么？
这样行得通吗？也许这是一个愚蠢的问题，而且一定有一定的限制。因此，如果您能对此发表评论，我将非常高兴。
谢谢并致以最好的问候，G。
浏览 0提问于2016-12-08得票数 0
在Cloud TPU上训练对象检测器时，我得到以下错误： Error recorded from training_loop: Gradient for FeatureExtractor/MobilenetV1/Conv2d_13_pointwise_1_Conv2d_5_1x1_48/weights:0 is NaN : Tensor had NaN values 在我的训练中，这总是发生在同一步。我很不确定我可能做错了什么导致了这一点。 任何建议都是很棒的！我会尽可能快的回复你。 我跟随this guide在谷歌的TPU系统上训练了物体探测器。 下面是完整的错误：Error record
浏览 61提问于2019-04-13得票数 0
我正在用keras建立一个简单的机器学习模型。我希望建立模型来进行标量回归。我所建立的模型在经历了大约9个时代之后，在训练损失上达到了惊人的收敛速度。训练数据包括约84000个由6个特征组成的例子。
我运行的模型为100个时代，批量大小为250。我正在使用一个验证集，它是训练集的20%。
因为我在我的本地机器上运行这个(单CPU，没有GPU)，所以我希望它需要更长的时间才能收敛，这有什么原因吗？
下面是模型的定义：
def regression_model():
model = keras.Sequential()
model.add(layers.Dense(64, act
浏览 2提问于2019-04-03得票数 1
回答已采纳
我用scaleTier: BASIC在云ML引擎上开发了一个TensorFlow模型。
在带有scaleTier: BASIC_GPU的图形处理器上运行它的训练器效果很好。但是，试图在带有的TPU上运行它时，会产生以下错误消息：
type.googleapis.com/google.rpc.QuotaFailure
The request for 1 TPU_V2 accelerators exceeds the allowed maximum
of 30 K80, 30 P100.
这个限制是从哪里来的，可以通过启用另一个API或增加我的初始预算来解除吗？
浏览 24提问于2017-12-25得票数 0
回答已采纳
2回答
神经网络列车验证损失的解释
、、、、
我已经训练了一个时间序列预测的LSTM模型。我用了一种早停的方法，有150个年代的耐心。我使用了一个dropout为0.2，这是列车和验证损失的情节：
早期停止训练法在650次训练后停止训练，在验证损失最大的460次左右节省最佳权重。
我的问题是:列车损失总是高于验证损失是正常的吗？我知道，如果是相反的(验证损失以上的火车)，这将是一个过度适应的迹象。但这个案子呢？
编辑：我的数据集是时间序列，每小时的时间频率。它由35000个实例组成。我已经将数据分成80 %的训练和20%的验证，但按时间顺序进行。例如，培训将包含2017年开始之前的数据，以及2017年至年底的数据验证。我用15天的平
浏览 0提问于2018-10-01得票数 1
回答已采纳
我用下面的代码来训练我的模型在v3-8 TPU中，它是一个单一的设备TPU，它工作的很好，但是相同的代码不工作在TPU v2-32上。据我所知，v2-32是通过专用高速网络相互连接的TPU设备集群，那么如何调整代码使其在v2-32上工作呢？
tpu = tf.distribute.cluster_resolver.TPUClusterResolver(tpu="tpu-name", zone="us-central1-a", project="myproject")
tf.config.experimental_connect_to_cluste
浏览 3提问于2021-01-29得票数 1
2回答
我想训练一个大型的人脸识别网络。Resnet或VGG-16/19. TensorFlow 1.14
我的问题是--如果我用完了GPU内存--是一个一个地训练一组层的有效策略吗？
例如训练2 cnn和最大集合层为一组，然后以某种方式“冻结重量”，然后训练下一组等等。
我知道我可以在tensorflow上训练多个GPU，但如果我只想坚持一个GPU呢.
浏览 0提问于2019-09-14得票数 0
利用matlab训练二值分类神经网络模型，给出了在隐层中使用20个神经元得到的图。交叉熵与年代之间的混淆矩阵和图。
为了防止模型中的过度拟合，损失图中的训练曲线应该与验证曲线相似。
但在目前的情况下，第三张图显示了验证曲线与训练相似的曲线，尽管与上述曲线中两条曲线的分叉曲线相比，总体精度较低。
WHy，这是正在发生的，我在理解这些曲线时做错了什么？
📷
📷
📷
📷
浏览 0提问于2018-05-19得票数 3
我正在训练一个用于图像语义分割的CNN U-网模型，但是训练损失似乎以比验证损失更快的速度下降，这正常吗？
我用了0.002的损失
培训和验证的损失可以从下面的图像中看到：
浏览 3提问于2020-08-07得票数 3
回答已采纳
3回答
我的团队正在使用Tensorflow对CNN进行训练，以便对损坏/可接受的零件进行二进制分类。我们通过修改cifar10示例代码来创建代码。在我以前使用神经网络的经验中，我总是训练到损失非常接近于0(远低于1)。然而，我们现在正在评估我们的模型在训练期间使用验证集(在单独的GPU上)，似乎精度在大约6.7k步长后停止增加，而损失在超过40k步长后仍在稳步下降。这是由于过度拟合造成的吗？一旦损失非常接近于零，我们是否应该期望看到准确率的另一个峰值？当前的最大精度是不可接受的。我们应该杀了它，然后继续调优吗？你有什么建议吗？以下是我们修改后的训练过程的代码和图表。
浏览 2提问于2017-04-19得票数 29
1回答
数据并行性对训练结果的影响
、、、、
我目前正在尝试使用Tensorflow网络实现多GPU培训。一种解决方案是每个GPU运行一个模型，每个GPU都有自己的数据批，并在每次训练迭代之后组合它们的权重。换句话说，“数据并行”。
例如，如果我使用两个GPU，与它们并行训练，然后组合它们的权重，那么与在一个GPU上进行这两个数据批的训练相比，产生的权重不应该是不同的吗？因为两个GPU具有相同的输入权重，而单个GPU为第二批修改了权重。
这种差异仅仅是边际的，因此与多次迭代后的最终结果无关吗？
浏览 4提问于2016-11-17得票数 3
回答已采纳
我的Keras-Tensorflow模型的行为如下图所示。我可以看到训练和验证损失表现良好，但训练和验证的准确性相当不正常。我认为验证数据集可能比训练集更容易。因此，我得到了很高的验证准确率。我期待着你的善意的建议。
<code>B0</code>
浏览 16提问于2020-03-18得票数 0
回答已采纳
1回答
我正在制作一个深度学习网络，它可以在3d空间中找到几个点。 输入是一堆灰度空间图像(图像数量从5到20 )，输出是64 x 64 x 64 1024 x 1024。输出的每个体素都有0或1，但在我的数据集中只有2000个1，所以很难通过观察训练损失来判断我的网络是否训练得很好。 例如，如果我的网络只输出np.zeros((64,64,64))作为输出，精度仍然是1-2000/(64x64x64)~=99.9%。 所以我想问一下，我应该选择哪个深度学习网络来从3d空间中找到非常少的答案。输入大小变为(1024 x 1024 x #img)，输出大小变为(64 x 64 x 64)。我现在正在使
浏览 22提问于2021-11-08得票数 0
回答已采纳
1回答
我第一次在我的数据集上训练CNN，得到了一个有点像这样的损失情节：
📷
橙色是训练的损失，蓝色是德夫的损失。正如你所看到的，训练损失比开发损失低，所以我想:我有(合理的)低偏差和高方差，这意味着我是过度拟合，所以我应该增加一些正则化:辍学，L2正则化和数据增强。在那之后，我得到了这样的情节：
📷
现在我们看到，方差减小了，偏差增加了。这个模型不太适合，对吗？但是，我实际上选择了第一个模型，因为它有较低的验证损失。
我的问题是:在大多数文献中，对于偏差-方差权衡，它们显示验证损失在上升，但在我的实验中，情况并非如此，那么这些模型是否真的过火了？当培训损失低于验证损失时，你是否会过度适应，或者只有
浏览 0提问于2019-01-17得票数 3
1回答
TPU和GPU的结果不同。
、、、、
我试着用伯特模型进行微调。我用的是预先训练过的伯特模型和火把。
问题是GPU的结果和TPU的结果略有不同。(准确度相差约-2% ~ 2%)
我使用了相同的数据集，同样的种子。背景的不同是这样的：
device: gpu(RTX2080Ti * 4) vs tpu 2 (1core)
pytorch version: torch 1.5(gpu) vs torch 1.10 & torch_xla 1.10(tpu)
# In the code of tpu setting, I modified some lines.
# 1. set the device
self.devi
浏览 1提问于2021-11-05得票数 3
1回答
我在mnist数据集上使用RTX 2080 ti。我安装了tensrflow-gpu。在其他环境中，它比仅在CPU上运行快近12倍。
我正在检查任务管理器CPU和GPU的性能，同时训练。以下是培训期间的表演：
GPU环境： CPU =20% GPU = 10%训练时间=24秒
CPU环境： CPU =100% GPU = 10%训练时间= 500秒
我想知道GPU在10%上运行是否正常？我可以手动增加或降低性能吗？
浏览 3提问于2020-05-05得票数 2
是否可以使用tensorflow的tpu_estimator()训练生成模型(即具有自定义损失计算的变分自动编码器)？
我的VAE的简化版本：
模型函数
def model_fn(features, labels, mode, params):
#Encoder layers
x = layers.Input()
h = conv1D()(x)
#BOTTLENECK LAYER
z_mean = Dense()(h)
z_log_var = Dense()(h)
def sampling(args):
z_mean_, z_l
浏览 0提问于2018-06-30得票数 5
我正在经历以下错误，当我通过Pytorch 1.9.0+cu102训练一个生成网络时：
RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
同时使用谷歌协同GPU会话。这一段是在以下两行之一触发
浏览 8提问于2021-07-06得票数 3
回答已采纳
我正在Google上训练一个神经网络(我不能使用GPU来解决另一个问题：)，使用fit_generator方法。
model.fit_generator(generator=training_generator,
validation_data=validation_generator,
steps_per_epoch = num_train_samples // 128,
validation_steps = num_val_samples // 128,
浏览 0提问于2020-06-19得票数 0
回答已采纳
1回答
我正在尝试使用TPU在Colab上训练和运行一个图像分类模型。没有火炬。 我知道TPU只能处理GCS存储桶中的文件，所以我从存储桶中加载了数据集，并对检查点和日志记录函数进行了注释，以避免出现此类错误。我只想看到它在TPU上训练时没有错误。 在CPU和GPU上，代码可以工作，但是当我在创建模型之前使用with strategy.scope():时出现问题。这是在我训练模型时给我带来问题的函数： def train_step(self, images, labels):
with tf.GradientTape() as tape:
predictionProbs =
浏览 17提问于2020-12-11得票数 2
回答已采纳
1回答
我正在训练一个自动编码器，它的输入是0,1中的矩阵P，使用以下损失函数：
这是我的密码：
# Define loss and optimizer, minimize the squared error
with tf.device("/device:GPU:0"):
L = -tf.reduce_sum(self.p*tf.math.log(self.p_pred+1e-10) + 0.55*(1 - self.p)*tf.math.log(1-self.p_pred+1e-10), axis = 1)
self.loss = tf.reduce_
浏览 3提问于2022-06-26得票数 1
2回答
我已经使用张量流对象检测API训练了我的自定义数据集。我运行我的“预测”脚本，它在GPU上运行得很好。现在，我想将模型转换为lite，并在板上运行，以检测我的自定义对象。我已经浏览了谷歌珊瑚委员会网站提供的文档，但我发现它非常令人困惑。如何在Google Coral Edge TPU板上转换和运行？谢谢
浏览 2提问于2020-01-21得票数 1
在我的训练中，损失有时会变成nan。然而，这似乎并没有影响我的神经网络训练。有人知道tensorflow是否有一些nan值的内部处理吗？
nan前后的损失值是稳定的，所以我认为学习率是很好的。我宁愿认为有些图像似乎没有任何合理的信息，但我还不能百分之百确定。
有没有人有过类似的经历？我用的是tensorflow 0.12.1
浏览 2提问于2017-03-01得票数 2
回答已采纳
我已经在TPU上训练了我的模型，结果似乎很适合测试。Dataset有5个类，结果显示：
accuracy: 0.9867 - sparse_categorical_accuracy: 0.9867 - loss: 0.0412 - val_accuracy: 0.9859 - val_sparse_categorical_accuracy: 0.9859 - val_loss: 0.0564 - lr: 1.8013e-07
我将模型保存为.h5文件，如所述
我使用TPU_model.h5加载reconstructed_model = keras.models.load_model("
浏览 0提问于2021-01-16得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
