看了Alex写的论文,里面介绍了LRN,稀里糊涂的,第一遍根本没看懂,于是我就想,先看看tensorflow怎么做的LRN吧,然后我就看明白了,但我貌似讲不太明白。。。。首先,公式是这样的:
?...LRN
其次,官方API的介绍是这样的:
sqr_sum[a, b, c, d] = sum(input[a,b, c, d - depth_radius : d + depth_radius + 1]...],这里224×224是图片的大小,经过第一次卷积再经过ReLU,就是LRN函数的输入。...:
output = input / sqr_sum
实际运行的结果是这样的:
# a的原始值
array([[[[ 2., 2., 2.],
[ 2., 2., 2.]...S,S是三个图像素平方和相加的结果,S的shape是[2, 2],然后A除以S,如下
A = [[2, 2], S = [[12, 12], [2, 2]] [12, 12