马斯克的AI公司xAI正式公开Grok-1源代码

PANews 3月18日消息，马斯克的人工智能公司xAI宣布开放其3140亿参数混合专家模型Grok-1的权重和架构。Grok-1是一个从头开始由xAI训练的大型语言模型，采用混合专家模型架构，其中25%的权重在给定令牌上处于活跃状态。该模型的基本模型权重和网络架构现已根据Apache 2.0许可证开放。Grok-1的预训练阶段已于2023年10月结束，目前发布的是原始基础模型检查点，未针对任何特定应用进行微调。有兴趣使用该模型的用户可以按照github.com/xai-org/grok上的指南操作。