↑↑↑关注后"星标"炼丹笔记
炼丹笔记干货
作者:时晴
众所周知,self-attention是不考虑输入序列的位置的,要解决这个问题就得靠Position Encoding了,在attention...,在每个输入中都加上了位置编码,如下图红框所示:
然后在论文3.5部分给出了以下PE公式,一个sin函数和一个cos函数,为每个position计算一个值:
说实话,看到这里时晴反正是没看懂,公式是初中生都看的懂...,d_model表示输入的维度,pos表示单词的索引,i表示向量中索引,用sin,cos计算出对应值,但是为什么可以这样加到input上达到位置编码的效果呢?...这时候我们看看bert就是非常直观的绝对位置动态编码,就直观很多,每个位置就是固定的embedding:
让我们看看原文作者是怎么解释的:
对于任何偏移量k,对pos+k的编码都可以是pos编码线形变换....先来看看可视化结果:
值得注意的是,每个向量第0和第1的位置,第0的位置对应于PE公式的sin式,第1的位置对应于PE公式的cos式子,但是他们的2i都是0,所以会有下式:
所以每个输入向量的第0