↑↑↑关注后"星标"炼丹笔记
炼丹笔记干货
作者:时晴
众所周知,self-attention是不考虑输入序列的位置的,要解决这个问题就得靠Position Encoding了,在attention...:
说实话,看到这里时晴反正是没看懂,公式是初中生都看的懂,d_model表示输入的维度,pos表示单词的索引,i表示向量中索引,用sin,cos计算出对应值,但是为什么可以这样加到input上达到位置编码的效果呢...这时候我们看看bert就是非常直观的绝对位置动态编码,就直观很多,每个位置就是固定的embedding:
让我们看看原文作者是怎么解释的:
对于任何偏移量k,对pos+k的编码都可以是pos编码线形变换....先来看看可视化结果:
值得注意的是,每个向量第0和第1的位置,第0的位置对应于PE公式的sin式,第1的位置对应于PE公式的cos式子,但是他们的2i都是0,所以会有下式:
所以每个输入向量的第0...PE的方法有很多,但是有很多实验表明,这些PE方法最终结果都很类似,本文讨论的PE方法优势在于可以支持更长的序列长度.