Tensorflow batch_norm在测试时不能正常工作(is_training=False)
TensorFlow中的batch normalization（批归一化）是一种用于加速深度神经网络训练的技术。它通过对每个小批量输入进行归一化，使得网络的输入分布更加稳定，有助于提高训练速度和模型的泛化能力。
在TensorFlow中，batch normalization层通常包含两个阶段：训练阶段和测试阶段。在训练阶段（is_training=True），batch normalization会计算每个小批量输入的均值和方差，并使用这些统计量对输入进行归一化。此外，它还会维护一个移动平均的均值和方差，用于在测试阶段（is_training=False）对输入进行归一化。
然而，有时候在测试阶段，当is_training=False时，TensorFlow的batch normalization层可能无法正常工作的原因可能有以下几种：
- 未正确设置更新操作：在训练阶段，batch normalization层会通过更新操作来更新移动平均的均值和方差。在测试阶段，如果没有正确设置更新操作，那么移动平均的均值和方差将不会更新，导致归一化不准确。解决方法是在测试阶段使用
tf.contrib.layers.batch_norm函数，并设置参数is_training=False和updates_collections=None。 - 未正确保存和恢复移动平均的均值和方差：在训练阶段，batch normalization层会将移动平均的均值和方差保存到模型的变量中。在测试阶段，如果没有正确恢复这些变量，那么归一化将使用错误的均值和方差。解决方法是使用
tf.train.ExponentialMovingAverage类来保存和恢复移动平均的均值和方差。 - 数据分布不一致：在训练阶段，batch normalization层会根据每个小批量输入的均值和方差进行归一化。在测试阶段，如果测试数据的分布与训练数据的分布不一致，那么归一化可能不准确。解决方法是在测试阶段使用训练数据的移动平均的均值和方差进行归一化，或者使用批量归一化的训练数据的统计量来进行归一化。
总结起来，要解决TensorFlow中batch normalization在测试时不能正常工作的问题，可以采取以下步骤：
- 在测试阶段使用
tf.contrib.layers.batch_norm函数，并设置参数is_training=False和updates_collections=None。 - 使用
tf.train.ExponentialMovingAverage类来保存和恢复移动平均的均值和方差。 - 确保测试数据的分布与训练数据的分布一致，或者使用训练数据的移动平均的均值和方差进行归一化。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云机器学习平台（AI Lab）：https://cloud.tencent.com/product/ailab
- 腾讯云弹性计算（云服务器）：https://cloud.tencent.com/product/cvm
- 腾讯云容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云人工智能开放平台（AI）：https://cloud.tencent.com/product/ai
相关·内容
但当我想在另一个文件中测试模型时： logits_v, endpoints_v= inception_v3(all_v, num_classes=25, is_training=False, dropout_keep_prob=0.8,='pol')
它给出了无意义的结果，或者更准确地说，对于所有的训练和测试样本，损失是1
浏览 19提问于2017-03-14得票数 8
所以我现在使用这个函数，它调用了这里的函数；
bn_train = batch_norm(x, decay=0.9, center=True=None,
is_training=False<
浏览 14提问于2017-01-18得票数 4
我在tensorflow中尝试了几个版本的batch_normalization，但都不起作用！当我在推理时设置batch_size =1时，结果都不正确。版本1:直接使用tensorflow.contrib官方版本is_training是训练<e
浏览 2提问于2016-11-30得票数 19
我在MNIST数据上使用Tensorflow的正式批标准化(BN)函数()。我使用以下代码添加BN：在测试期间，我在上面的代码行中更改了"is_training=False“，并且只观察到了20%的准确性。然而，如果我也使用上面的代码来测试(即保持is_training=True)的批次大小
浏览 2提问于2016-10-17得票数 5
回答已采纳
我使用tensorFlow训练了一个分类网络，并在每个卷积层中进行批量归一化。当我预测一个平衡测试集，其中包含的每一个类别，准确性是正常的。但是，如果我从测试集中选择了任何一个特定类别，准确率就会很低，甚至为零。但当测试集中包含3个类别时，测试结果的准确性就越高。我们都知道，当模型完成训练时，重量是固定的。但我发现测试集中的平衡对预测精度有很大的影响。我认为如果批规范化对此有影响，所以我删除了所有批处理规范化，并重新培训了模型。这一次
浏览 2提问于2017-06-19得票数 0
回答已采纳
回想一下我建议的代码：from tensorflow.
浏览 4提问于2017-01-30得票数 0
我们在转换经过预先训练的Tensorflow模型时遇到了问题，我们将其作为以下文件snapshot_140.ckpt.meta对于tensorflow lite，当我们使用转换后的tflie文件进行预测时，所有的预测都在Nan而正常的tensorflow模型加载时给出了正确的回归预测。然后，将TFlite_converter工具转换为tflite
.pb
浏览 1提问于2019-05-22得票数 2
批次归一化在训练阶段和测试阶段有不同的行为。
例如，在tensorflow中使用时，应该在不同的阶段为is_training设置不同的值。我的qusetion是:如果我在测试时仍然设置is_training=True怎么办？也就是说，如果我仍然在测试阶段使用训练模式呢？我提出这个问题的原因是，和发布的代码在测试时不设置is_trainin
浏览 2提问于2017-09-19得票数 7
回答已采纳
也包括Q& A)，并得出了以下结论：
1)训练时is_training设置为True，测试时设置为false。在训练时，我有收敛(误差< 1%，Cifar 10数据集)。最后:当在测试阶段，打开和关闭批处理规范化时，有好的结果(预期错误)是正常的吗？使用上面的批处理规范函数，我能够很好地训练(is_training = True)和测试(is_training = <
浏览 56提问于2017-12-23得票数 2
我在使用tensorflow的批处理规范化时遇到了问题。现在请注意，我正在windows 10上工作，我有tensorflow 1.3版本。因此，每当我在会话下运行summary, loss_ = sess.run(to_run_list, feed_dict={phase_train: True})时，在初始化/还原所有变量之后，我得到的均方根值为0.022，这是在训练模型结束时实现的相同错误。现在，如果我将phase_t
浏览 0提问于2018-03-03得票数 0
回答已采纳
当我训练的时候，我在我的训练数据上得到了完美的过度拟合(如预期的那样)。随着批处理正常化，培训更快，也像预期的那样。但是，当我在训练步骤结束后立即在相同的数据上运行"is_training“= False的相同的模型时，结果就差得多了。此外，每次我查看moving_mean和moving_variance时，它们都是它们的默认值。他们从不更新。as tf
from tensorflow.contrib.layers import fully_
浏览 5提问于2017-02-19得票数 2
回答已采纳
2回答
我在Tensorflow实现了一个生成的对抗性网络。在测试期间，如果使用与我在培训(64)期间使用的相同的batch_size生成生成的映像，则生成的映像非常好；如果一次生成一个映像，则结果非常糟糕。
from tensorflow.contrib.layers.python.layers import batch_norm
defreturn tf.conca
浏览 0提问于2017-08-18得票数 4
最近，我想在keras中使用批规范化来构造一个神经network.As，这是原始论文中提到的，批处理规范化在测试和训练时间中的行为是不同的。beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, 我没有看到任何参数来判断它是在训练阶段还是在测试阶段，这与tensorflow的实现不同：inputs,
decay=0.
浏览 2提问于2017-10-11得票数 1
回答已采纳
我想在训练集(is_training=True)和验证集(is_training=False)上运行给定的模型，特别是如何应用dropout。现在，公开了一个参数is_training，该参数在构建网络时传递给dropout层。问题是，如果我使用不同的is_training值调用该方法两次，我将得到两个不同的网络，它们不共享权重(我认为？)。我如何让这两个网络共享相同的权重，以便我可以运行我在验证集上训练的网络？
浏览 0提问于2016-09-07得票数 4
我已经用tensorflow训练了一个模型，并在训练过程中使用了批量规范化。批量规范化要求用户传递一个名为is_training的布尔值，以设置模型是处于训练阶段还是测试阶段。在训练模型时，is_training被设置为常量，如下所示我已经保存了训练好的模型该模型不能重新训练。因此
浏览 3提问于2017-08-17得票数 2
回答已采纳
2回答
我在Tensorflow训练了一个具有批处理规范的模型。我想保存模型并恢复它以供进一步使用。批处理规范由 return tf.layers.batch_normalization(input, training=phase)训练阶段是True阶段，测试阶段是False阶段。好像只是打电话saver.save(sess, savedir + "ckpt")
不会
浏览 2提问于2017-08-21得票数 7
回答已采纳
我使用的是Tensorflow 1.13.1 (也尝试了1.14)和python 3 我得到的错误是在depthwise_conv2d中： "input tensor must have rank %d at least" % (expected_input_rank))
ValueError: input tensor must have rank 5 at least 当检查我的张量时，我得到了以下结果strides=list([1, 1, 1, 1]), padding='SAME', di
浏览 30提问于2020-09-17得票数 1
我正在尝试使用Tensorflow从GAN中保存一个生成器模型。我使用的模型有几个批处理规范层。当我保存权重时，我只有在运行全局变量初始化器的情况下才能成功地恢复它们，因为所有的变量都正在被恢复。如果我在恢复之前运行全局变量初始化器，当我使用加载的权重运行推理并为批处理规范参数设置is_training=False时，模型的性能非常差。但是，如果为is_training=True，模型将按预期执行。这种行为应该是完全相反的。编辑： 我使用以下命令定义批处理规范层： co
浏览 13提问于2019-01-15得票数 1
回答已采纳
我正在尝试开始使用python中的TensorFlow，构建一个简单的带有批处理规范化的CNN。但是当我创建一个新的图运行时，BN发生了异常。我的按键代码如下def batch_norm(x, beta, gamma, phase_train, scope='bn', decay=0.9, eps=feed_dict={X: batch_x_test, Y: batch_y_test, keep_prob: 1., train_phase: False日志为：
我
浏览 0提问于2018-04-11得票数 1
我正在尝试使用最新的batch_norm()，并在这里找到它：。如果我使用来自help(tf.contrib.layers.batch_norm)的IPython，我会看到以下有趣的docstring：
注意:当is_training为True时，需要更新moving_mean注意:当is_training为True时，需要更新moving_mean和moving_variance，默认情况下，update_ops放在tf.GraphKeys.UPDATE_OPS中，因此需要将它们作为依赖项添加到我的安
浏览 0提问于2017-05-09得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
