首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    注意力机制:GPT等大模型的基石

    Javaer 想象一个搜索功能:class Attention { String query; // Q:搜索词,比如 "红衣服" List keys; // K:索引列表,...Javaer 可理解为从数据库查出一堆数据,注意力帮你挑出最相关的几条。编码器端主要解决表征问题,相当于特征提取过程,得到输入的注意力表示。一般使用自注意力(self-attention)。...Javaer 可理解为相当于给每个字段加个“标签”,标出它跟其他字段的关系。...使用线性层作用在第二步的结果上做一个线性变换, 得到最终对Q的注意力表示通俗解释:先算 Q 和 K 的“匹配度”,得出权重如果是拼接法,把 Q 和结果再拼一下;如果是点积法(自注意力),直接用最后用个“转换器”(线性层)把结果调整成想要的形状Javaer

    46330
    领券