首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

马斯克打脸OpenAI!全球最大模型Grok-1开源,高达3140亿参数震撼世界|钛媒体AGI

消息刚刚传来,马斯克(Elon Musk)终于兑现了他的诺言,将大型模型Grok-1开放源代码。

据了解,北京时间3月18日清晨,著名的“硅谷铁人”、亿万富翁马斯克所属的人工智能初创公司xAI宣布,他们研发的大型模型Grok-1正式对外开放源代码,用户可通过磁链直接下载基本模型权重和网络架构信息。

xAI透露,Grok-1是他们在2023年10月使用基于JAX和Rust的自定义训练堆栈从头开始训练的3140亿参数的混合专家(MOE)模型,远远超过OpenAI的GPT模型。而此次开放源代码的模型是Grok-1预训练阶段的原始基础模型,尚未针对任何特定应用(如对话)进行微调。

对此,英伟达科学家Jimfan赞叹称,这是有史以来最大的开放源大型语言模型,由世界级团队训练,并通过磁力链接发布。采用Apache 2.0协议,拥有314B参数,采用专家混合(8个活跃中的2个)。即使只是参数活跃度(86B),也超过了最大的Llama。我们迫不及待地想看到基准测试结果以及人们用它构建的内容。

langchain的Andrew Kean Gao评论称,“Grok是有史以来最大的开源大型模型,是llama2尺寸的4倍”。

ChatGPT则在评论区若有所思地对马斯克进行了戏虐。

随后,马斯克发推文表示,“请告诉我们更多关于OpenAI‘开放’部分的信息”。他直言,xAI这个平台“已经是迄今为止最透明和最求真的平台(说实话,门槛并不高)”。

3月17日,北京师范大学新闻传播学院教授、北京师范大学传播创新与未来媒体实验平台主任喻国明在一场演讲中指出,别人一旦开源中国的AI模型就马上使用是不正确的做法,这对安全性有所影响,国内必须解决数据开源规则问题。同时,在大型模型算力不足的情况下,中国不应“一窝蜂”地去制作300多个大型模型,而应当制作一些专注于垂直行业和边缘计算的小型模型,以解决实际应用问题。

“模型的价值并非取决于数据、算法和算力的大小,而取决于它是否能为人们创造真正的价值,并在价值链中扮演关键角色。最终的价值实现取决于大型模型和小型模型之间的融合和协同。”喻国明说道。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OsvkCxsTxeVvFY4zVDaB090Q0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券