开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >TensorRT LLM--RMSNorm

TensorRT LLM--RMSNorm

原创

作者头像

aaronwjzhao

发布于 2023-11-22 19:48:18

1580

发布于 2023-11-22 19:48:18

举报

文章被收录于专栏：AI工程落地AI工程落地

全称：Root Mean Square Layer Norm

paper：1910.07467.pdf (arxiv.org)

LayerNorm

µ是均值，σ是标准差

RMSNorm

RMSNorm删除了均值，性能提升7%-64%

pRMSNorm

再RMSNorm基础上，进一步只让前p%的元素参与运算

论文给出的经验值：p=6.25%

TensorRT-LLM使用的是RMSNorm

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

#大模型推理优化

评论

登录后参与评论

0 条评论

热度

最新

LV.

目录

LayerNorm
RMSNorm
pRMSNorm