在机器翻译的语境中, 最常听到的是: 用一种语言造句, 编码器把它变成一个固定大小的陈述。解码器将他转换成一个句子, 可能和之前的句子长度不同。例如, “como estas?”...思考一下它怎样帮助西班牙语让形容词在名词之前: “neural network”变成 “red neuronal”
在专业术语中,“注意力”(至少是这种特定的 基于内容的注意力) 归结为加权平均值均数。...换句话说,一个深入的argsort:
In [3]: np.argsort([10,30,20 ])
Out[3]: array([0,2,1], dtype=int64)
3
In [4]: np.argsort...在我们的研究中,对于五个数字,我们几乎达到了100%的准确度。请注意, 这是Keras所报告的 “分类精度”, 意思是在正确位置上元素的百分比。...换句话说,序列长度是固定的。
?
处理这一问题的方法是在最大可能的序列长度上固定维度, 并用零填充未使用的位置。
但它有可能搞乱代价函数,因此我们更好地掩盖那些零, 确保他们在计算损失时被省略。