当前AI热潮能否扩展到AGI?——Reid Hoffman对话Greg Brockman

本文是一篇关于人工智能（AI）和通用人工智能（AGI）的讨论，由赖安·霍夫曼（Reid Hoffman）和格雷格·布罗克曼（Greg Brockman）进行的对话。以下是总结摘要：

赖安·霍夫曼分享了他个人对AI的兴趣起源，以及他如何从自然语言处理的研究转向创业，最终又回到AI领域。- 讨论了OpenAI的成立背景，其使命是确保AI能够造福全人类，并且超越人类在经济价值领域的工作表现。强调了OpenAI在研发上的专注，包括构建系统、推动技术前沿以及确保AI系统的安全性。解释了OpenAI名称中的“开放”并不代表开源，而是关于如何发布内容和带来益处的思考。描述了OpenAI在模拟世界中训练智能体的研究，以及这些研究如何逐步构建AGI。讨论了深度学习的历史和发展，以及计算能力的提升如何推动AI的进步。分析了AI在《英雄联盟》和《星际争霸》等电子竞技游戏中的表现，以及这些表现与现实世界技能的关联。探讨了推动AGI发展的计算力增长和算法进步。讨论了不同国家在AI发展中的角色，以及国际合作的重要性。描述了OpenAI在确保AI系统安全方面所做的努力。讨论了AGI与特定机器学习应用之间的关系，以及如何平衡前沿研究与实际应用。- 指出了真正进行AGI研究的团队数量有限，以及面临的挑战。讨论了未来五年内AI技术的潜在发展，以及将计算力转化为智能的挑战。探讨了AGI成功可能带来的乌托邦式社会变化，以及文化中对AI的负面描绘。

对话全文：

这真是充满活力的一天结束，或者至少是一节课程的结束。所以我们开始吧，我觉得这个主题非常重要。OpenAI 是为什么成立的？它的使命是什么？人们应该如何理解 OpenAI？

让我给你讲讲我的一些个人经历。最早让我对人工智能感兴趣的是我在1950年读到的艾伦·图灵的图灵测试论文。我一直认为编程是一种劳动密集型的工作，你深入理解某个领域，用一种晦涩的方式将其写成程序，然后你就能从中受益。我一直觉得这一点非常神奇。但在读图灵的论文时，图灵说，我们不是编写这个答案，而是让它学会一个答案。我那时觉得，机器自己能解决一个我连如何接近这个问题都无法描述的问题，这是前所未有的令人震惊的事。

因此我非常兴奋，我去和我的教授们讨论，并说，我可以做一些自然语言处理的研究吗？他们说当然可以，并指出了像解析树、概率文法等方向。然而我发现，这些方法好像无法大规模地应用，这并不是我们要解决这个问题的方式。我非常失望。所以决定转向像创业这些更实用的事情。接下来的十年里，我一直在尝试这样做。

我记得我大概是在Stripe工作了五年的时候离开了，那时我们第一次见面，确实如此，也就是那列时间表里的首位。对我来说，一直很清楚最能发挥贡献的问题应该是人工智能，真正建设出能够为这个世界带来实际帮助的机器，做一些人类做不到的事情，帮助我们达到新的高度。这只是一个时间问题。大约是在2015年，深度学习革命的第三年，已经开始工作了。我的默认选择是成立一家人工智能公司，尝试获取一些现金流，然后再过五到七年为通用人工智能的发展做出贡献。

我与萨姆·阿尔曼交谈时，他建议直接朝通用人工智能方向努力。感觉我们处于一个指数曲线的过程中，确切的顶点很不清楚。因此我们决定这么做了。我认为我们聚集了一群想法类似的人，尤其是我在开头讲到的故事中描述的那种人，他们在OpenAI的早期就加入并为这家初创公司打下了基础，他们都真诚地认为通用人工智能是最重要要解决的问题。正确的时机成为了一个要一起聚集起来，真正地做出努力，确保它以正确的方式发展的时机。所以这又是什么呢？

OpenAI的成立使命是什么？如果人们试图理解OpenAI的“月球基地”是什么类型的，他们应该关注哪些方面的工作？预计未来的进展会如何呢？

OpenAI的使命是确保人工智能能够造福全人类。当我们提到“人工智能”，我们指的是能够超越人类在颇具经济价值的工作领域中表现的机器，这是一个极其高要求的标准。我认为，如果真的能构建这样系统，这无疑将具有变革性。不过，具体何时和以多快速度实现这一目标还有待观察。但是，确保这一愿景顺利实现显然是至关重要的。回顾过去二十年涌现出的多种技术，要将其做好确实很困难，即便有充足的时间来把握。基于互联网的初期选择，如今我们已经看到了一些早期选择的影响，而对于普遍的人工智能，我感到事情可能会进展得更快，因而现在我们必须更早地确保问题的正确解决。

我们主要关注的主要是研发。我们实际上是在尝试构建这些系统，并努力推动技术前沿。我们在不同领域取得了许多突破，但也注重安全性。确保这些强大的人工智能系统能够按照设计者的意图执行工作是我们的一项关键任务。

但这还有另一个需要解决的难题：这些系统应该具备什么样的价值观，以及它们在社会中应该如何发挥作用？我们的政策团队负责与政府和其他利益相关者合作，尝试形成答案。

人们应该如何理解“开放”这个词在OpenAI中的含义？在这一语境下，“开放”意味着什么？实际上，我认为这是一个误解。尽管OpenAI被戏称为一个开源项目，但实际上我认为成为AGI领域的开放源代码项目并不是造福世界的最好方式。我们发布了一份名为《OpenAI宪章》的文件，详细记录了我们如何思考我们希望发布的内容以及我们希望如何带来的益处。其中一点是，由于安全问题，未来我们将减少传统的开源发布。

重要的是我们要确保这项使命的核心和不变的信念，即确保通用人工智能造福所有人，这一点深深地嵌入了我们的组织结构和价值观。

那么谈谈研究项目吧。大家可能比较熟悉一些基本的技术细节：你们创造了一个模拟世界，并让自分辨率的智能体进行训练，他们可能会玩一些早期游戏。但是这种研究项目的实际路径究竟是什么？这是AGI和MI该如何逐步构建的方向？以及与该项目相关的理论是什么？我认为我总是喜欢从我们所熟知和喜爱的人工智能谈起。

在过去七年里，深度学习真正在成为热门话题。深度学习并不是新事物，它已经存在了60年。而现在，它开始真正发挥作用。核心问题是，我们的计算能力日益增强，一种深度神经网络算法是高度可扩展的。我们发现，只要有一个合适的神经网络规模和合适的算法架构，并有足够的数据训练，经过正确的调优，系统会更加有效。而数据的可用性则是一个重要的因素。这些人工智能的基础构件开始以有趣的方式发生变化。

首先是数据。如果你正在做强化学习，你有一个模拟器，有一个游戏，比如《英雄联盟》，我们取得了一些突破，你需要大量的计算资源来生成数据。智能体实际上是在与自己竞争，生成可以从中学习的数据。你可以从亲身经历中学到东西，就如人类在世界中四处徘徊，观察事物并从中学习经验。实际上这一点正在取得非常好的进展。我认为有许多团队在强化学习方面取得了惊人的突破，这一点是非常有趣的。2013年是我们开始看到令人兴奋的事情，尤其是DeepMind的深度强化学习；2016年左右是AlphaGo；2018年是《英雄联盟》和《星战前夜》。

我认为，我们在一个模拟器中解决这个问题已经到了一个有意义的阶段了，但人类做了很多这种模拟器所无法解决的事情，那就是，我们似乎能够观察世界，而婴儿只是经历世界，却从中提取意义，然后能够将过去的经验应用到新问题上。这与我们习惯使用的人工智能系统是不同的，但我们现在开始看到人工智能技术能够做到这一点的迹象。很快，我们将公布使用语言进行这一过程的结果。

实际上，我们和一些其他团队在这方面取得了初步成果，并开始看到一种指数级的进步，通过训练模型来预测下一个单词，能够开始生成令人惊讶的文本内容。实际上，你能利用这些经验解决通常需要大量数据集的问题，比如分类或问答任务。我认为我们已经开始看到一种转变，以前我们认为深度学习只是模式识别，但这并不完全正确，它也会采取行动，在世界的观察中提取结构与信息。

谈一下《英雄联盟》和《星际争霸》的结果，这些结果在某种程度上是什么样子的？比如，200个人可能会说：“计算机AI，带学习算法玩游戏，这很有意思，这些游戏里已经有智能编程。”但从一个距离而言，现实情况是如何？这是一个很有趣的成果集。我认为这主要取决于与现实世界的距离。

比如象棋，人们曾经认为，如果我们解决了象棋，我们就解决了智能问题，事实并非如此。你可以通过查看超过人类可能查看的棋局数量来解决象棋。而对于围棋，人们认为，我们不能只通过查看所有的棋局来解决它。这时加入了一个神经网络，这是一个基本的模拟直觉，加上了能够查看更多棋局的能力，使这两者结合解决了问题，但仍然遇到了如何将这个问题转移到现实世界的问题。在现实世界中，我们不能查看这么多棋局，也没有办法挑选其中最好的一个。因此，你需要一种仿真的直觉来达到顶级人类的表现。

而在这些竞争性电子竞技游戏中发生的恰恰是这些。这些游戏往往很长，需要做好计划，处理各种不同的单位，需要不同时间尺度的规划，还需要人们一辈子投入其中。我们认为电子竞技可能有遭受误解的一面。但事实上，这些玩家都是专业选手，常年集训，尽可能达到最好的表现。如果你超越他们的能力，就意味着你学到了一些真正有价值的东西。在硬件和其他方面的指数化发展上，我们称之为敏捷，这也无疑是最有趣的事情之一。但对于更迭的游戏架构，这对如何看待人类技能和认知能力有何意义呢？这本身就是一项有趣的课题。我认为，关于游戏的第一个很好的是，人类设计师投入了大量的努力来确保它们具有挑战性，并展示出不同的技能。游戏通常是可解释的，你可以观察游戏中的行为并理解，这是人类在这里所做的。

另一个好的方面是，我们的意识系统较多地依赖系统2思考。我认为现在我们缺失了系统2思考的元素，它可能是我们的某个缺陷。“系统1思考”可以被看作是反射性的冲动和情感性的爬行动物脑；而“系统2思考”则是在深度思考复杂问题时才出现。现在我们拥有的相当类似一个昆虫的状态。如果我们设想我们的Dota智能体，它经过了模拟数千年的训练，并高度优化，为这个单一的环境提供了完全异质的反应能力。在一个环境中，一个人类玩家出现了，这是它第一次遇到人类。它在与各类机器人对手作战，无论那些机器人做了什么，它们都不如人类，但无论如何，它能够适应那个环境，却从未训练它去解决微积分问题。我认为这一点是我们需要克服的差距。当我们观察游戏表现时，我们应该如何看待人类与代理的混合？这正是我们在Dota环境中所致力于解决的问题，并且我们确实有一些令人感兴趣的结果。

我认为，仅从击败人类的角度来看人工智能并非目标。真正重要的是增强人类的能力。因此，我认为最关键的事情之一是开始看到更多如何与其他能力相结合的方式，而不仅仅是能够击败人类。现在我们将回到关于AGI的指数曲线。到底是什么导致了这一指数的增长？现在我们处在昆虫的水平，但我们实际上试图达到人类的水平。驱动这种增长的因素之一是计算力的增长，我们在去年发布了一项研究，回顾了过去六年来最为计算密集的结果。我们发现，在这六年间，每年都有超过10倍的增长，这不是计划中的，甚至没人知道它的存在，但它确实是人们涌入资金与硬件实现系统互联的结果。

从硬件角度讲，硅水平上，我们几乎耗尽了摩尔定律的优势，提及在纳米尺度上，难以再容纳更多的晶体管。但我们还没有耗尽并行处理的潜力，并且事实上，神经网络是高度并行化的。因此，你可以简单地拼接这些芯片，并从中获得效益。你提到的可以说是并行处理的提高，这并不是在芯片上增加更多的晶体管，而实际上是在将多个芯片并行工作的能力上提高。

过去，2012年，当人们开始尝试在16000个CPU核心上训练神经网络时，结果被两个使用两块GPU的研究生们超越了。这是一个大卫和歌利亚的故事，但现实是你再也无法重现这一点。因为我们后来发现，人们在2014年开始学会了如何在单个服务器中使用8个GPU，然后到了2017年，我们能够线性放大到1024个GPU，这是一个价值100万美元的硬件平台。人们继续进一步扩展。一种指数增长是计算力，通过并行处理自然适用于并行分布式处理的神经网络。

指数曲线上还有另一个区域，那就是算法的进步，这是在这些讨论中常常被忽视的重要方面。这是一个非常微妙的问题，因为深度学习几乎可以被视为一种算法。在20世纪50年代末，罗森布拉特发布了感知器，我们现在几乎在通过更高级的感知器进行试验。但在同一时间，人们确实做出了许多基础性进步。这些基础进展往往只是一行代码的改变，找出哪一行是关键，这才是难点。我想这种说法更适合一个更广泛的创业听众，有没有具体的行可以展示这一点？

一个很好的例子是如何将系统扩展到数千个GPU，基本上是改变了代码中的一行常量。随着GPU的数量增加，一次处理的数据也相应增加，你需要确保你的学习率——每次步骤中学到的量——也适当增长。

现在我们正处于一条指数曲线上。对于这种曲线上两种截然不同的观点态度，一种是感叹我们能够解决许多令人兴奋的问题，另一种是惊恐于机器人将取代我们。你说你更倾向于哪种观点或如何看待这种二元对立的思考？

我认为我自己处于两者之间，现在我们对这些技术的发展有相当大的灵活性。历史上的技术创新都是几乎预定了它们的轨迹，就像电话一样，两个人在某一天试图申请专利，结果为什么会发生？这意味着每一个人都是在攀登巨人的肩膀，你永远不可能发明出别人无法想出的东西。如果爱因斯坦没有出生，我们仍然会有同样的进步，可能会有时间上的延迟，最好的希望可能就是这种延迟，但这并不是完全正确的。我认为，对于技术创造者而言，真正的影响力在于在它诞生之初设定初始条件。

你将获得互联网，许多竞争对手都参与其中。最终形成的系统体现了今天我们在使用的技术中的价值观。当然，我相信互联网在某种意义上，那些价值观并不总是反映出设计者的初衷。这一点至关重要。我认为思考的方式是通过构建这些系统，并走在最前沿，你可以看到它们尚未影响世界的问题，然后你就真的需要做出选择了。不仅作为一个公司，我希望作为一个世界，我们需要选择如何让这些技术影响我们的生活。

我不希望自己生活在一个人工智能进步停滞的世界。我认为不应该如此。我们可以从中获得许多益处，但我们也不能仅仅部署这些技术，而想等到结果出现后再看看会发生什么。

最近几年，特别是开始于中国的背景下，我每天都看到一个新的AI倡议，现在白宫也宣布了一个AI倡议。你如何看待国家在这其中的作用？从OpenAI的慈善使命角度来看，我们希望大家将这些技术应用于人类的利益，而不只限于商业隔阂等？你如何看待白宫和中国的这两种情况？

周一颁布的行政命令的五个重点之一就是国际合作，这确实是一个令人鼓舞的信号。考虑到技术的应用，世界各地都有不同的汽车制造商，但几乎每个制造商都配备了安全带。可以设想，怎样建立关于建设安全汽车的标准化规范，这应该是彼此共享和协调的技术。我认为就如何确保这些系统安全并如操作者期望的方式运行而言，这是一个所有国家都高度一致的焦点。问题只是能否将更多人带进讨论，我认为我们已经开始看到了某种程度上的积极性，尽管要真正产生实质性的成果还需要很长时间，但我实际上比去年更加乐观了。

当我谈到谁在投资时，这不是仅仅一些国家所关注的问题，法国有一项18亿美元的计划，韩国有一项10亿美元的计划，以及其他一些国家也有类似的投资。人们开始意识到人工智能已经以多种方式进入我们的生活，并将影响人们的生活。至于AGI方面，大家都在想如何开始思考这项技术，并确保随着这些技术的发展，人们不会感到意外，能够确保它们所带来的益处。

由于OpenAI是一个公共利益实体，我们是为全人类的利益而努力，因此信任与安全是一个自然的结合。让我们更详细地了解一下OpenAI的安全工作。部分原因是我们说，我们作为公共信托，试图为全人类的利益而构建系统，像政府和其他政府一样。因此，信任和安全是恰当的组合。让我们更多地了解OpenAI在这一方面的努力，我认为你可以将安全和政策努力归类于这个范畴。

在安全方面，我们认为这是技术安全保障。今天的人工智能系统存在的问题，包括公平性、透明度和偏见等，这些都是非常重要的。如果你展望未来，设想一个非常智能的系统掌管电网或一个城市甚至一个国家的经济，你需要确保它按照你希望的方式运作。

我们已经有高度自主的系统了，它们做了一些我们认为对社会并不好的事情，有时被称为企业。假设有一个公司，它的任务就是最大化利润。我们不应轻易信任这样一个体系。同样的道理。

我们开始看到并且也发表了一些研究成果，这表明可以仅仅通过数据分析来学习人类偏好。这让我们对未来充满了希望，如果你构建一个具有正确价值观和安全为先的模式的系统，可以得到所有的力量，同时也需承担责任或问责制。

那么你认为在这种情况下，OpenAI如何看待中国的参与？显然，白宫对华态度充满了对抗性。中国也有自己的AI倡议。

我们应该如何思考这个问题？当然我们更希望在全世界范围内以一种人类优先的观点来看待这个问题。我们应该如何思考这个问题？OpenAI如何思考这个问题？我们倾向于使用的术语是“协调竞争”。很明显，不同国家和公司之间会有竞争，但是我们可以通过确保这些系统不会破坏世界来合作，这是非常重要的。

我们在宪章中明确表示担忧的是，晚期AGI开发有可能演变成军备竞赛。如果你朝着一项变革技术前进，第一就会失去安全性。胜出的可能只是一个能够构建最不安全系统的人。因此，现在我们在所有人感受到风险之前就应当主动伸出橄榄枝，来建设这些关系和信任。

我只想澄清一点，我认为对于这些话题，我们应抱有现实主义的态度。我们应该以一种既诚实又为所有可能性做好准备的方式来延伸橄榄枝。然而，核心观点确实是，只要我们能够继续强调“确保安全”，那么协调合作是有希望的。

现在让我们谈谈通用人工智能与窄领域智能应用之间的关系。因为有无人驾驶汽车、精准医疗等各种机器学习应用正在推动行业变革。在这条指数曲线上的人工智能“月球基地”和所有这些特定的机器学习应用之间关系如何看待？

我认为这有两个尺度的观点。作为初创公司，我们有大约100名员工，这相比其他公司来说是非常小的。我们很难关注太多东西，必须有所选择。而我们看到这条指数曲线，我们认为保持在最先进的前沿非常重要。因此，我们所作的所有选择都是关于保持这一焦点，而不是分散到应用上，这是一个非常痛苦的过程。

虽然说起来容易，但如果有了某种新的突破，你看到其未来的应用，却不采取行动，就会感到痛苦。企业家们尤其会这样觉得。而且在这里还有更广阔的宏观视角，即使你的目标只是通过人工智能产品化和建立最好的公司，我相信今天的人工智能技术有一种令人遗憾的现实，我要向这个背景下的人道歉，我认为仅仅依赖人工智能构建的独立企业不是一个好方法。这确实可以作为业务的一部分，比如你想在客户服务上有所作为，你还是得建立一个庞大的客户基础，进行所有的企业销售活动，然后才会有自动化的客服代理。但这大部分工作仍然是以创业的方式来构建的。

区别在于如果你是大公司，这种技术非常棒。你已经有了庞大的用户基础，改进你的照片搜索10%，你就会吸引更多的用户，你立即就能获得大量的价值。因此，他们看待当前的人工智能技术是非常有杠杆作用的，但仅在短期内，并且非常灵活和可扩展。这正是它的一个重要特征。这意味着，如果你的目标仅仅是追求利润，那么留在指数增长上，一直向前推进，直到达到实际有价值的技术这将是最佳策略。

有多少AGI，有多少AI和ML项目，你追踪了多少个AGI项目？

并不多，真的只有少数几个。AGI项目需要你愿意承担一些真正的不确定性。我认为这是一个被许多聪明的人视为非常重要的问题。

时间线的问题，如何到达那里，如何真正影响它，这都要求非常大的资源，你需要非常强大的计算资源，需要非常稀有的人才。一个积极的一面是，我们发现其实很容易吸引人才。我们是优秀的软件工程师，可以在几个月内将他们变成优秀的机器学习研究人员。所以这是个问题，但结果是，目前真正进行AGI研究的力量非常有限，可能就只有两、三个团队左右。

我认为，在接下来的五年里，基于现有的计算技术，我们不需要更小的晶体管，不需要量子计算，不需要光学计算，只需要将更多机器相连接，转向较小的精度，并且进行一些其他的硬件技巧，就能得到更多的浮点运算。因此，如果事情按我们预期的那样进行，我们将能够随着硬件的扩大，很好地利用这些资源。获得大量浮点运算并不等同于将这些运算转化为一个真正聪明的机器。我认为，我们这些AI研究员可能就是从浮点运算转化为可实现智能的系统之间的人形翻译器。但是，也存在一个风险，历史经验告诉我们，我们确实会将这些模式放大，并且找到利用这些浮点运算的方法。但实际情况可能是，一些问题比我们想象的要难，我们可能需要不只是一个突破，而是需要一百个突破。我们可能需要运行相当一段演化历史才能复制我们的思考过程。这在本质上是个万亿级运算的优化过程，经过了数十亿年的进化。

许多AGI（超人工智能）愿景的核心在于构建丰裕的理论，因为在这种理论中，能完成大量不同任务的机器人变得普遍，可以解决无法通过其他手段解决的问题，无论是核聚变还是其他事项，所有这些都是乌托邦愿景的一部分。

你认为呢？在AGI成功的世界中，这样的情形是稀缺资源吗？

确实，我认为这是一个非常有趣的问题。一个轻微的偏题是：我认为这实际上非常困难。我个人认为，我们对技术的看法很大程度上来自于科幻小说，这一直就是如此，而对AGI来说，实际上很少有正面的故事。我认为一个可能的例子是苏格兰作家伊恩·班克斯（Iain M. Banks）创作科幻小说《文明》（The Culture）系列，其中探讨了丰裕社会的可能性。

最终发现，如果是一个人想寻找人生的意义，很多时候这需要大量的努力，这是一切本质上都需要付出的。我认为，这几乎是铁律。没有其他可能的方式。理想上，我们生活在一个每个成员都有足够食物和良好的个人健康的世界，人们不再需要为了生存而挣扎。这是非常重要的。当达到这一阶段，我们就会面对这样的问题：你愿意成为一名艺术家吗？你愿意去看木星吗？

所有这一切都变成可能，其中一件事是我实际上说服了一些人共同组建了一个乌托邦科幻的工作小组，因为我们确实缺少这样的内容。如果你看这些电影，都将人工智能描绘成危险的存在。然而，实际上在这其中有很多有趣的机会。顺便提一句，如果你对这种文化感兴趣，Ian Banks喜欢《头号玩家》，这是一个很好的起点。

如果有可能，会有一部科学幻想小说描绘AGI展示乌托邦的可能性，那会是什么样的？我以为，我们应该模仿这样的设定。有一个系统试图帮忙，为人类提供帮助。这些故事的问题在于，总是需要关注负面的一方。我猜测，实际的部署和找到如何才能到达一个不只是国家或公司的世界——那些技术已经融入人们生活——应该是其核心内容。

好了，正如你所见，OpenAI正在进行一个雄心勃勃的AGI项目，这也是我从一开始就非常自豪能参与进来的原因，帮助和支持社区。