OpenAI领先开源马斯克支持的项目Grok

0x01 前言

3月11日，马斯克在X（原推特）上发贴宣布，本周将开源Grok。今年2月29日，马斯克起诉OpenAI及其创始人奥特曼，称当时成立OpenAI是为造福人类而开发AGI，而OpenAI将非营利组织变成了微软利益最大化，违反了合同，要求OpenAI恢复开源。

0x02 Grok

Grok从一开始就被认为是马斯克为公开叫板OpenAI而推出的产品。去年7月12日，马斯克的xAI公司宣布成立。公司成立的目标，是要专注于回答更深层次的科学问题，期望未来可以用AI去帮助人们解决复杂的科学和数学问题并且“理解”宇宙。

公司成立不到4个月时间，去年11月5日，xAI就发布了其首个基于大语言模型的AIGC聊天机器人产品——Grok。

0x03 OpenAI Grok

仓库地址：https://github.com/openai/grok

0x04 Grokking 论文

论文地址：https://arxiv.org/abs/2201.02177

《Grokking: Generalization beyond overfitting on small algorithmic datasets》

OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》首次引入了神经网络中的Grokking概念。Grokking指的是，当神经网络在小型算术生成数据集上训练时，即使模型在训练集上已经表现出过拟合的迹象，只要我们持续训练，模型有可能突破一个临界点，从而获得更高的泛化性能。

0x05 参考

• Grokking： https://zhuanlan.zhihu.com/p/658694527