字节开源MoE关键优化技术，模型训练成本省40%、内部万卡集群已部署

蓝鲸新闻3月10日讯 3月10日，字节豆包大模型团队官宣开源一项针对MoE架构的关键优化技术COMET，可将大模型训练效率提升1.7倍，成本节省40%。该技术已实际应用于字节的万卡集群训练，累计帮助节省了数百万GPU小时训练算力。据介绍，COMET支持业界绝大部分主流大模型，可以像插件一样接入已有的MoE训练框架，也可以与DeepSeek开源的DualPipe方案联用以更大压缩训练成本。（蓝鲸新闻 朱俊熹）