首页
学习
活动
专区
圈层
工具
发布

英伟达含量为0!美团LongCat-2.0跻身全球大模型第一梯队

【太平洋科技快讯】6月30日,美团正式推出新一代万亿参数大模型LongCat-2.0,并宣布将于近期开放该模型全部核心技术开源。

该模型采用MoE架构,总参数规模1.6万亿,单Token激活参数约480亿,原生支持百万Token超长上下文输入。LongCat-2.0搭载LongCat Sparse Attention(LSA)稀疏注意力机制,处理长文本时可自动筛选核心信息,将传统平方级计算开销优化为线性级,即便面对百万长度文本,依旧具备稳定的信息检索与语义理解能力。

这款模型最特殊的地方不在于性能,而是实现训练、推理全链路全部依托国产算力集群运行,完全绕开了英伟达,全程未使用英伟达硬件,完成国产芯片与万亿级大模型完整适配,迈入全球第一梯队。

在此之前,国内已有基于国产芯片开展模型推理、微调后训练的相关方案,但从零预训练搭配全流程推理的万亿参数大模型落地尚属首次。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/O4u9jAYpfyxYGxJsQG4nY88w0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券