吴恩达最新发声：大模型通往AGI还得好几年，做好长期苦战准备

吴恩达（Andrew Ng）刚刚发表了一篇关于LLM现状与未来的最新观点

他直言：尽管LLM令人惊叹，但目前提升其知识水平的过程，其实比大众认知的要零碎得多

针对目前业界的两种极端声音，吴恩达给出了明确态度：既不要轻信LLM再过几年就是通往AGI之路的炒作，也不要陷入LLM不过是演示品的错误反向炒作

相反，我们需要对通往更智能模型的路径有一个更精确的理解

以下是吴恩达的核心观点梳理

LLM确实通用，但还不够通用

吴恩达首先肯定了LLM作为一种比前代技术更通用的智能形式。

第一波LLM技术通过在公共网络上训练，获取了涵盖广泛主题的信息。这使得它们的知识广度远超早期那些只能执行单一任务（如预测房价、下围棋或国际象棋）的算法。

然而，它们的通用性仍远不及人类

例如，即便在预训练阶段阅遍了整个公网内容，LLM在适应特定写作风格，或者可靠地使用简单网站方面，依然表现挣扎——而这些通常是人类编辑或普通人能轻松做到的。

榨干公网数据后，全是“苦力活”

在利用了几乎所有开放网络信息后，进步变得愈发困难

吴恩达指出，如果一家前沿实验室现在想要LLM在特定任务上表现出色——比如使用特定编程语言写代码，或者在医疗、金融等利基领域输出合理内容——研究人员必须经历一个繁琐且费力的过程：

1. 寻找或生成该领域的大量数据；

2. 对数据进行预处理（清洗低质量文本、去重、改写等）；

3. 将这些处理好的知识喂给LLM。

甚至，为了让模型执行某些任务（如使用网络浏览器），开发人员可能需要经历更繁琐的过程：创建大量的RL Gyms（强化学习模拟环境），让算法在狭窄的任务集中反复练习

相比人类，模型还太“笨”

吴恩达强调，一个典型的普通人，即便阅读的文本量远少于前沿模型，或者在计算机操作环境中的练习量远少于模型，却能泛化到更广泛的任务中。

人类之所以能做到这一点，可能得益于以下机制：

从反馈中持续学习的能力；

对非文本输入拥有更优越的表征能力（吴恩达直言：LLM对图像的Token化处理，在他看来目前仍像是一种黑客手段/权宜之计）

以及许多我们尚未理解的机制

结论：做好长期苦战的准备

如今推动前沿模型的发展，需要做出大量的人工决策，并采用以数据为中心的方法来工程化训练数据

吴恩达认为，未来的突破或许能让我们不再以这种零碎拼凑的方式推进LLM。但即便没有突破，这种持续的零碎改进，加上模型有限的泛化能力和涌现行为，仍将继续推动技术的快速进步

他在最后总结道：

无论哪种情况，我们都应该计划好迎接未来多年的艰苦工作

在这条构建更智能模型的道路上，前方仍有一段漫长、艰难——但也充满乐趣的跋涉

--end--

最后记得⭐️我，每天都在更新：欢迎点赞转发推荐评论，别忘了关注我