开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

为什么当我在训练时间设置is_training=False时，Tensorflow BN层中的moving_mean和moving _variance会变成nan？

当在训练时间设置is_training=False时，TensorFlow中的Batch Normalization（BN）层的moving_mean和moving_variance会变成NaN的原因是由于在推理阶段（is_training=False）时，BN层不再进行统计信息的更新，而是使用之前训练阶段（is_training=True）中计算得到的moving_mean和moving_variance来进行归一化操作。

然而，当在训练阶段（is_training=True）时，如果输入的batch样本过小，可能会导致方差（variance）过小，进而使得标准差（standard deviation）接近于0。在BN层的归一化操作中，需要对标准差进行除法运算，而除以接近于0的标准差会导致除法结果趋近于无穷大，进而产生NaN值。

为了解决这个问题，可以通过以下几种方式进行处理：

增加batch样本的大小：通过增加训练时的batch_size，可以增加样本的数量，从而减小方差的值，避免出现除以接近于0的情况。
设置合适的epsilon值：在BN层的归一化操作中，会加上一个很小的常数epsilon，用于避免除以接近于0的情况。可以尝试调整epsilon的值，选择一个合适的值来避免NaN的产生。
检查网络结构和参数初始化：确保网络结构合理，并且参数初始化正确。不合理的网络结构或者错误的参数初始化可能导致BN层的统计信息出现异常，进而导致NaN的产生。

需要注意的是，以上解决方案是基于TensorFlow的BN层的常见问题和解决方法，具体情况还需要根据实际代码和环境进行分析和调试。

腾讯云相关产品和产品介绍链接地址：

腾讯云官网：https://cloud.tencent.com/
腾讯云AI智能服务：https://cloud.tencent.com/product/ai
腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
腾讯云云数据库MySQL版：https://cloud.tencent.com/product/cdb_mysql
腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
腾讯云区块链服务：https://cloud.tencent.com/product/tbaas
腾讯云视频处理服务：https://cloud.tencent.com/product/vod
腾讯云物联网平台：https://cloud.tencent.com/product/iotexplorer

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

tensorflow: bn层的 decay参数项

实验：探究 batch normalization 过程中的 decay 参数项在 train 和 test 过程中的不同作用。...结论： train 过程改变参数，而 test 过程不改变参数； test过程中直接沿用了train出来的参数进行计算； decay参数项目虽然在 train 和 test 过程中都有，在train过程中...验证代码：在 decay=0 （即移动偏移无损失）时： import tensorflow as tf def func(in_put, layer_name, is_training=True...output 可知，decay=1时，经过train之后，’my/BatchNorm/moving_mean:0’ 变成了[ 114.78817749]、 ‘my/BatchNorm/moving_variance...结论： 1. decay参数项目虽然在 train 和 test 过程中都有，在train过程中，不对求解结果产生影响，只对求解结束时参数项的偏移程度产生影响。

2.1K3 0

tensorflow使用BN—Batch Normalization

上一篇是 Batch Normalization的原理介绍，看一下tf的实现，加到卷积后面和全连接层后面都可：（1）训练的时候：is_training为True。...= _get_variable('moving_mean', params_shape, initializer=tf.zeros_initializer(), trainable=False)...(moving_mean, mean, BN_DECAY) update_moving_variance = moving_averages.assign_moving_average(moving_variance...is_training, lambda: (mean, variance), lambda: (moving_mean, moving_variance)) return tf.nn.batch_normalization...还可以看大师之作：CNN和RNN中如何引入BatchNorm 训练好的模型加载：tensorflow中batch normalization的用法

2.7K7 0

tensorflow: bn层

my/BatchNorm/moving_mean:0' 都只移动了计算量的一半 <tf.Variable 'my/weights:0' shape=(2, 2, 1, 1) dtype=float32...my/BatchNorm/moving_mean:0' 都只移动了计算量的一成 <tf.Variable 'my/weights:0' shape=(2, 2, 1, 1) dtype=float32...trainable_variables: """ trainable_variables 相比 global_variables 少了 'my/BatchNorm/moving_mean:0' 和'my...实验四探究 batch normalization 过程中的 is_training 参数项的作用。...=False 时 [[[[-0.51710552] [ 8.06164551] [ 3.7213378 ] [ 6.3342452 ]] [[ 9.82062817] [

1.1K4 0

深度残差网络(ResNet)论文学习(附代码实现)

理论上，深层网络结构包含了浅层网络结构所有可能的解空间，但是实际网络训练中，随着网络深度的增加，网络的准确度出现饱和，甚至下降的现象，这个现象可以在下图直观看出来：56层的网络比20层网络效果还要差。...但是这种退化并不是因为过拟合导致的，因为56层的神经网络的训练误差同样高。 56层神经网络和20层神经网络训练误差和测试误差对比这就是神经网络的退化现象。...对于深度较深的神经网络，BN必不可少，关于BN的介绍和实现可以参考以前的文章。...Bottleneck Architectures 在更深层(esNet-50/101/152)的神经网络中为了节省计算耗时，作者对神经网络的架构进行了改造，将原有的两层3x3卷积层改造为三层卷积层：1x1...(), trainable=False) moving_variance = create_var("moving_variance

5672 0

谈谈Tensorflow的Batch Normalization

tensorflow中关于BN（Batch Normalization）的函数主要有两个，分别是： tf.nn.moments tf.nn.batch_normalization 关于这两个函数，官方API...2、计算卷积神经网络某层的的mean和variance 假定我们需要计算数据的形状是 [batchsize, height, width, kernels]，熟悉CNN的都知道，这个在tensorflow...BN在神经网络进行training和testing的时候，所用的mean、variance是不一样的！这个博客里已经说明了，但具体怎么操作的呢？...= control_flow_ops.cond(['is_training'], lambda: (mean, variance), lambda: (moving_mean, moving_variance...关于BN的完整实现，在Ryan Dahl的repository里有，名字叫做tensorflow-resnet（https://github.com/ry/tensorflow-resnet），可以自行查看

1.3K7 0

TensorFlow实现批量归一化操作的示例

产生梯度爆炸的原因是因为网络的内部协变量转移，即正向传播的不同层参数会将反向训练计算时参照的数据样本分布改变。...批量归一化的定义在TensorFlow中有自带的BN函数定义： tf.nn.batch_normalization(x, maen, variance...，一般会设置0.9，值太小会导致更新太快，值太大会导致几乎没有衰减，容易出现过拟合。...is_training：当为True时，代表训练过程，这时会不断更新样本集的均值和方差，当测试时，要设置为False，这样就会使用训练样本的均值和方差。...但它是在每次当前批次训练完成后才更新均值和方差，这样导致当前数据总是使用前一次的均值和方差，没有得到最新的值，所以一般设置为None，让均值和方差及时更新，但在性能上稍慢。

9952 0

使用自己的数据集训练GoogLenet InceptionNet V1 V2 V3模型（TensorFlow）「建议收藏」

slim.batch_norm里有moving_mean和moving_variance两个量，分别表示每个批次的均值和方差。...当training时候，参数moving_mean和moving_variance的都需要update。...看官网教程的解释和用法： Note: when training, the moving_mean and moving_variance need to be updated...., 注意到我们使用了`batch_norm`层时,需要更新每一层的`average`和`variance`参数, # 更新的过程不包含在正常的训练过程中, 需要我们去手动像下面这样更新..., 注意到我们使用了`batch_norm`层时,需要更新每一层的`average`和`variance`参数, # 更新的过程不包含在正常的训练过程中, 需要我们去手动像下面这样更新

1.1K3 0

从零开始学Pytorch（九）之批量归一化和残差网络

1.对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间。...3.预测时的批量归⼀化训练：以batch为单位,对每个batch计算均值和方差。预测：用移动平均估算整个训练数据集的样本均值和方差。..., X, gamma, beta, moving_mean, moving_var, eps, momentum): # 判断当前模式是训练模式还是预测模式 if not is_training...: # 如果是在预测模式下，直接使用传入的移动平均所得的均值和方差 X_hat = (X - moving_mean) / torch.sqrt(moving_var +...残差块（Residual Block）恒等映射：左边：f(x)=x 右边：f(x)-x=0 （易于捕捉恒等映射的细微波动） Image Name 在残差块中，输⼊可通过跨层的数据线路更快地向前传播

8502 0

Tensorflow BN详解：4_使用tf.nn.batch_normalization实现BN

to the batch normalization layer. 1.在函数声明中添加'is_training'参数，以确保可以向Batch Normalization层中传递信息 2.去除函数中bias...偏置属性和激活函数 3.添加gamma, beta, pop_mean, and pop_variance等变量 4.使用tf.cond函数来解决训练和预测时的使用方法的差异 5.训练时，我们使用tf.nn.moments......语句结构块来强迫Tensorflow先更新均值和方差的分布，再使用执行批标准化操作 6.在前向传播推导时(特指只进行预测，而不对训练参数进行更新时)，我们使用tf.nn.batch_normalization...批标准化时其中的均值和方差分布来自于训练时我们使用滑动平均算法估计的值。...但是在我们的运行中，注意到它似乎并没有学习到前250个批次的任何东西，然后精度开始上升。这只是显示——即使是批处理标准化，给您的网络一些时间来学习是很重要的。

1.9K5 0

DeepLab v3_deeplab模型导出

网络结构中在bottleneck上的参数设置，与checkpoint训练的网络结构不一样。同时，resnet在论文中提及的时候，作者说自己改过了。.../BatchNorm/moving_mean] WARNING:tensorflow:Checkpoint is missing variable [image_pooling/BatchNorm/moving_variance...，再用voc2012 trainaug set预训练，得到的权重才可以和论文比。...所以武汉肺炎终究会过去。就是医护人员在湖北人手不足，新闻上全家感染的例子不在少数。致死率没有非典严重，大多数是并发症。但是传染的速度真的是太快了。虽然不能恐慌，但是也要严肃对待。...这里贴的是resnet101在voc的结果，这个贴的是xception，可以看到，这里采用了coco以及JFT两个数据集预训练作为变量。

2483 0

使用tensorflow 的slim模块fine-tune resnetdensenetinception网络，解决batchnorm问题

false测试结果很差，设置成true测试结果恢复正常训练结果很好，但是测试的结果要差上不少但是tensorflow官方提供的常见的网络代码以及与训练模型都是基于slim模块建立的，使用者可以直接fine-tune...在测试的时候给成True，测试给为false，此参数控制网络batchnorm的使用，设置为true时，batchnorm中的beta和gama参与训练进行更新，设置成false的时候不更新，而是使用计算好的...moving mean 和moving variance，关于batchnorm相关问题可以参考我的博文，因此，is_training 在测试的时候给成True，也就是在测试集上仍然更新batchnorm...问题的原因是在测试的时候没有利用到moving mean 和moving variance，解决方案就是更新train op的时候同时更新batchnorm的op，即是在代码中做如下更改： update_ops...其中最重要的一个参数就是'decay': batch_norm_decay,原始的代码是在image net上训练的，decay设置的是0.999，这个数值越大，网络训练越平缓，相对需要更多的训练时间，

2.3K2 0

黑猿大叔-译文 | TensorFlow实现Batch Normalization

论文BN2015中，Ioffe和Szegedy指出批标准化不仅能应用更高的学习率、具有正则化器的效用，还能将训练速度提升14倍之多。本文将基于TensorFlow来实现批标准化。...基于TensorFlow实现批标准化我们将把批标准化加进一个有两个隐藏层、每层包含100个神经元的全连接神经网络，并展示与论文BN2015中图1（b）和（c）类似的实验结果。...激活函数输入的时间序列图示下面是网络第2层的前5个神经元的sigmoid激活函数输入随时间的分布情况。批标准化在消除输入的方差/噪声上具有显著的效果。...和我们需要批标准化的原因一样（激活输入的均值和方差在训练时会发生变化），估算全局均值和方差最好在其依赖的权重更新完成后，但是同时进行也不算特别糟，因为权重在训练快结束时就收敛了。...注意，我们不仅要在训练时做一次构建，在测试时还要重新做一次构建，所以我们写了一个build_graph函数（实际的模型对象往往也是这么封装的）： def build_graph(is_training)

1.1K8 0

BN层代码实现_无代码

Batch Normalization 开发环境项目代码结构生成虚拟数据程序神经网络构建带初始化模型的神经网络构建带BN的FC网络和不带BN的FC网络对比不同初始化方式带BN的网络模型对比...pillow 项目代码结构 src文件夹存储了带有BN的FC训练文件、基于初始化的带BN的FC训练文件以及BN在训练阶段的操作。...的FC网络和不带BN的FC网络对比 import torch import torch.utils.data as Data import matplotlib.pyplot as plt import...) layer_inputs.append(layer_input) pre_acts.append(pre_act) net.train() # free moving_mean and moving_var...层原理及代码训练阶段:均值和标准差通过指数滑动平均统计得来的, γ \gamma γ和 β \beta β通过梯度反向传播不断更新测试阶段:均值和标准差是固定的, γ \gamma γ和 β \beta

1.2K2 0

【译】TensorFlow实现Batch Normalization

论文BN2015中，Ioffe和Szegedy指出批标准化不仅能应用更高的学习率、具有正则化器的效用，还能将训练速度提升14倍之多。本文将基于TensorFlow来实现批标准化。...基于TensorFlow实现批标准化我们将把批标准化加进一个有两个隐藏层、每层包含100个神经元的全连接神经网络，并展示与论文BN2015中图1（b）和（c）类似的实验结果。...激活函数输入的时间序列图示下面是网络第2层的前5个神经元的sigmoid激活函数输入随时间的分布情况。批标准化在消除输入的方差/噪声上具有显著的效果。...和我们需要批标准化的原因一样（激活输入的均值和方差在训练时会发生变化），估算全局均值和方差最好在其依赖的权重更新完成后，但是同时进行也不算特别糟，因为权重在训练快结束时就收敛了。...注意，我们不仅要在训练时做一次构建，在测试时还要重新做一次构建，所以我们写了一个build_graph函数（实际的模型对象往往也是这么封装的）： def build_graph(is_training)

1.8K6 0

Operators in MXNet-BatchNorm

因此, 在训练过程中除了正常的前向传播和反向求导之外, 我们还要记录每一个Batch的均值和方差, 以便训练完成之后按计算整体的均值和方差....由于train-set的数据量非常大, 计算mean计算量非常大, 所以经常采用的技术是使用moving average算法, 在为此在训练过程中需要记录每一个Batch的均值和方差, 以便训练完成之后按照下式计算整体的均值和方差...在test/predict阶段, 或者是use_global_stats == true时(这两者其实可以看成是一种情况, 在训练阶段, use_global_stats == false 否则网络是不收敛的...在测试的前向传播过程中, 利用 moving_mean和moving_var来代替整个测试集的均值和方差....在测试阶段使用use global statistics时, 损失关于BN参数gamma的梯度和训练阶段时类似的, 只是var用moving_var代替. */ } else { // 固定了

3711 0

同步Batch Normalization(syncbn)作用

1、BN训练与测试过程BN层有4个参数，gamma、beta、moving mean、moving variance。...在训练过程中：在这里插入图片描述 y为BN层输出，此时归一化的均值与方差为当前mini-batch的均值与方差。...同时也记录moving mean、moving variance的值，每训练一个batch，moving mean、moving variance就更新一次。...frozen为是否禁止更新参数标识，该示例为train.prototxt，因此为false，在测试过程中应改为true。...3、为什么要同步BN目前网络的训练多为多卡训练，大型网络结构以及复杂任务会使得每张卡负责的batch-size小于等于1，若不进行同步BN，moving mean、moving variance参数会产生较大影响

3.1K1 0

手把手教你如何用飞桨自动生成二次元人物头像

elu与leakyrelu相比效果并不明显，这里改用计算复杂度更低的leakyrelu 在判别网络(D)中增加Dropout层，并将dropout_prob设置为0.4，避免过拟合和梯度消失/爆炸问题...改进后，网络收敛速度明显加快，原项目训练时间需要300个epoch，训练超过10小时，改进后仅需要90个epoch，训练时间3个小时左右，同时生成的动漫头像在细节上层次更加丰富，生成的动漫头像风格更加多样...# 指定偏置的属性的对象 moving_mean_name=name + '3', # moving_mean的名称 moving_variance_name...=name + '_bn_3', # moving_mean的名称 moving_variance_name=name + '_bn_4', # moving_variance...判别网络将BatchNorm批归一化中momentum参数设置为0.5 将判别网络(D)激活函数由elu改为leaky_relu，并将alpha参数设置为0.2 在判别器(D)中增加Dropout层，

7611 0

送你5个MindSpore算子使用经验

Batch里的mean和variance值，即moving_mean和moving_variance，借鉴优化算法里的Momentum算法将历史Batch里的mean和variance的作用延续到当前...经验总结： MindSpore中BatchNorm1d、BatchNorm2d的momentum参数（定义该参数的变量名称为momentum_ms），该参数与PyTorch里BN的momentum参数（...参数是用来设置节点值为0的概率经验总结： MindSpore中dropout的keep_prob参数，该参数与PyTorch里dropout的p参数的关系为： keep_prob=1−p 使用mindspore.nn.SmoothL1Loss...注意问题在网络训练中，一般会把Loss的结果对Batch Size求平均;PyTorch的Loss算子一般会有是否求平均的参数，而MindSpore里面的Loss算子没有这个参数。...mindspore.nn.Dropout dropout算子只在训练中使用，测试的时候需要去掉。

2821 0

面部表情还是面目表情(怎样调整面部表情)

dropout影响：各种滑动平均，包括BN，保存与使用： BN的问题最多：关于tfrecord中的数据类型的问题： TFRecord：在restore模型时遇到的问题：测试准确率时内存溢出：训练一半改学习率会发生什么...clip的弊端，强行限制数值的传递，可能会影响网络的训练（举例，a=100被砍成a=1，a=1和target=1的loss是0，则a=100永远不能变成a=1）。...其他都好说，但是有一个错误是没有预防机制的，就是不更新滑动平均，一定要记得更新滑动平均！！预测的时候，一定要把BN层的training项改回False，如果保持同样的网络设置，就不对了。...每个BN层包括四个变量，所有数据的滑动平均mean和variance，经过mean和variance处理后，缩放系数gamma和平移系数beta，他们未经训练的时候应该是刚好让数据保持不变，训练之后的效果是让不同的输入对应的输出都在一个相同的分布...EMA更新了moving_mean和moving_variance 但是使用非训练模式的BN，结果总是不太满意，不知道是训练不充足还是什么其他原因，更新是肯定更新了，被EMA给更新了，受dropout

1.7K4 0

ICCV2019 高通Data-Free Quantization论文解读

一些概念通常我们用各种现有成熟的深度学习框架，如TensorFlow、Pytorch或mxnet等搭建网络模型时，参数和中间运行数据都是默认为float32类型的，然而在移动嵌入式设备上，由于内存大小...方法具有普适性，适合所有模型，但是需要额外数据用于校正batch normalization的统计参数如moving mean和moving variance，或者用来逐层地计算量化误差，并且根据该误差采取相应策略...这种特定模型指的是用全浮点训练收敛之后的模型进行量化效果极差，并且必须从头开始加上量化操作进行训练，这种方法需要消耗极大的时间成本。回到这篇DFQ论文，我们分析一下他要解决的问题和作出的贡献 3....0，导致精度的下降，per-channel的方法可以解决这个问题，但是在硬件实现上因为要针对每一个通道都有自己独立的缩放系数和偏移值考虑，会导致很多额外的开销，得不偿失； ?...，且在一些情况下还需要一些调参技巧，如BN操作中的moving_mean和moving_variance要重新校正还是直接冻结等，且在一些深度学习框架上提供模型压缩与量化工具也是更倾向于一键直接离线量化

1K3 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭