AI为何知道人类没有告诉它的事？

AI为何知道人类没有告诉它的事？

AI模型的能力已经远远超出了它们的训练范围，并且即使是它们的发明者也对此感到困惑。越来越多的测试表明，这些AI系统会像我们的大脑一样，发展出对真实世界的内部模型，尽管机器的技术不同。研究者们惊讶于这些大型语言模型(LLMs)能够从文本中学到多少东西。这些系统似乎能够从互联网文本中吸收颜色描述并构建颜色的内部表示。此外，LLMs还能够通过“上下文学习”从用户的提示中学习，这是一种新的学习方式。

然而研究者们也担心他们研究这些系统的窗口正在关闭。OpenAI并没有透露GPT-4的设计和训练细节，这部分原因是因为它与Google等公司以及其他国家竞争。这种缺乏透明度不仅损害了研究者的利益，也妨碍了理解采用AI技术所带来的社会影响的努力。

研究人员仍在努力理解，训练成会模仿互联网文本的AI模型如何能执行高级任务，比如运行代码、玩游戏，甚至试图破坏婚姻。

目前还没有人知道ChatGPT及其人工智能同类将如何改变世界，其中一个原因是没有人真正知道它们内部发生了什么。这些系统的一些能力远远超出了它们的训练范围，甚至它们的发明者也不知道为什么。越来越多的测试表明，这些AI系统会像我们的大脑一样，发展出对于真实世界的内部模型，尽管机器的技术是不同的。

布朗大学的研究人员之一Ellie Pavlick表示：“如果我们不了解它们的工作原理，那么我们想要通过它们来使它们变得更好、更安全或者任何其他方面的事情都似乎是一个荒谬的要求。”

在某种程度上，她和她的同事们完全理解GPT(预训练生成式转换器)和其他大型语言模型(LLMs)。这些模型依赖于一种名为神经网络的机器学习系统。这些网络的结构松散地模仿了人类大脑中相互联系的神经元。这些程序的代码相对简单，只占用了几个屏幕，设置了一个自动纠错算法，根据对数百GB互联网文本的繁琐统计分析，选择最有可能完成一段话的词语。额外的训练确保系统以对话形式呈现其结果。在这个意义上，它所做的一切就是复读它所学到的东西；用语言学家Emily Bender的话来说，它是一个“随机鹦鹉”。但是LLMs也成功通过了律师资格考试，在抑扬顿挫的五音诗中解释希格斯玻色子，并试图破坏其用户的婚姻。很少有人预料到一个相当简单的自动纠错算法会获得如此广泛的能力。

GPT和其他人工智能系统表现出它们没有训练过的任务，赋予了它们“新兴的能力”，这甚至让一些一般对LLMs炒作持怀疑态度的研究人员感到惊讶。“我不知道它们是如何做到的，也不知道它们是否能够像人类一样更普遍地做到这一点，但它们挑战了我的观点，”圣塔菲研究所的人工智能研究员Melanie Mitchell说道。

蒙特利尔大学的人工智能研究员Yoshua Bengio表示：“它肯定不仅仅是一个随机鹦鹉，它肯定建立了一些世界的表现形式，虽然我不认为它与人类建立内部世界模型的方式完全相同。”

在3月份的纽约大学的一次会议上，哲学家Raphaël Millière展示了LLMs的另一个惊人例子。这些模型已经展示了编写计算机代码的能力，这令人印象深刻，但并不太令人惊讶，因为互联网上有很多代码可以模仿。然而，Millière更进一步展示了GPT也可以执行代码。他输入了一个程序来计算斐波那契数列的第83个数。“这是非常高度的多步推理，”他说。而机器人则通过了这个测试。然而，当Millière直接询问第83个斐波那契数时，GPT却答错了。这表明系统不只是在复读互联网上的内容，而是通过自己的计算得出了正确答案。

虽然LLM在计算机上运行，但它本身并不是一台计算机。它缺少必要的计算要素，如工作记忆。在承认GPT本身不应该能够运行代码的前提下，其发明者OpenAI已经推出了一种专门的插件，当ChatGPT回答查询时可以使用的工具，允许它这样做。但是这个插件没有在Millière的演示中使用。相反，他假设机器通过利用它根据上下文解释单词的机制， improvisierte了一个内存，这类似于自然用现有能力重新用于新功能的情况。

2022年，谷歌研究和瑞士联邦理工学院的Johannes von Oswald、Eyvind Niklasson、Ettore Randazzo、João Sacramento、Alexander Mordvintsev、Andrey Zhmoginov和Max Vladymyrov展示了上下文学习遵循与标准学习相同的基本计算过程，称为梯度下降。这个过程没有被编程，系统在没有帮助的情况下发现了它。“它需要成为一项学习技能，”谷歌研究副总裁Blaise Agüera y Arcas说。事实上，他认为LLMs可能还有其他潜在的能力，尚未被发现。“每次我们测试一个我们可以量化的新能力时，我们都能找到它，”他说。

尽管LLMs有足够的盲点，不足以称为人工通用智能或AGI(这是指一台机器达到动物大脑的机智程度的术语)但这些新出现的能力表明，一些研究人员认为科技公司比乐观主义者猜测的还要接近AGI。“它们是间接证据，表明我们离AGI可能没有那么远，”Goertzel在佛罗里达大西洋大学深度学习会议上于三月份说道。OpenAI的插件为ChatGPT提供了类似人脑的模块化架构。“将GPT-4 [ChatGPT所使用的LLM的最新版本]与各种插件结合起来，可能是走向人类化功能专业化的一条路，”麻省理工学院的研究员Anna Ivanova说。

与此同时，研究人员担心，他们研究这些系统的能力可能正在关闭。OpenAI没有透露它是如何设计和训练GPT-4的细节，部分原因是因为它与谷歌和其他公司(更不用说其他国家)在竞争中。“可能会有更少的工业开放研究，事情会更加隔离和组织建立产品，”麻省理工学院的理论物理学家Dan Roberts说，他将其职业技能应用于理解人工智能。

这种缺乏透明度不仅会损害研究人员，还会阻碍理解采用人工智能技术的社会影响的努力。“透明这些模型是确保安全的最重要的事情，”Mitchell说。