对加权的值求和,得到输出 1
8. 为输入 2 和 3 重复 4-7 步骤
备注:在实践中,这些数学运算是经过向量化的,即所有输入会一起经历这样的数学运算。我们会在后面的代码章节看到这一点。...[0, 4, 2]
[1, 0, 2] x [1, 4, 3] = [2, 4, 4]
[1, 0, 1]
注意这里仅使用了输入 1 的查询。...图 1.5:对注意力分数(蓝色)执行 softmax。...图 1.7:对所有加权值(黄色)求和得到输出 1(深绿色)。...第一步:准备输入
?
第二步:初始化权重
?
第三步:推导键、查询和值
?
第四步:计算注意力分数
?
第五步:计算 softmax
?
第六步:将分数与值相乘
?
第七步:对加权值求和
?