对话 Max Tegmark：掌控权必须掌握在人类手中

8月26日，集智俱乐部与腾讯研究院共同举办“AIS²系列学术报告和研讨活动”沙龙，共同提出AIS²倡议，意指AI+Society与AI+Science这两大如火如荼的前沿领域，并预言人工智能即将在跨学科研究中形成的集体涌现。

此次学术沙龙活动的第一部分以“智能边界：大语言模型能否再次涌现”为主题，麻省理工学院物理学教授、未来生命研究所（Future of Life Institute）创始人Max Tegmark 进行了主题报告，并与腾讯研究院院长司晓进行对谈。本文为对谈实录，由ChatGPT-4转写翻译生成，并经人工编辑校对：

司晓：你刚才的演讲对我很有启发。我不禁想起2019年在波多黎各参加未来生命研究所召开的AI国际会议的经历。我记得当时会议的主题是“有益AGI”（Beneficial AGI）。当时大家预期，通用人工智能(AGI)何时到来的平均预期时间是2045年。你在会上讲到了当时常见的关于AGI的迷思（myth，意指错误观点），比如只有超级智能变坏、产生自我意识才会给人类带来严重安全风险，并且提出可以通过将AI与人类的价值观“对齐”(alignment)来大幅降低这些风险。

当时，我们大部分人都觉得AGI距离现实仍然相当遥远，防止AGI变坏听着像科幻小说，而隐私保护、数据安全、算法透明是更值得关注的现实问题。那时候对AGI的讨论，通常不是很聚焦。四年后的今天，随着大模型的突破，我们对AGI的设想更清晰了。当然我们还是对如何应对AGI莫衷一是，但这些意见分歧定义很清晰，可以对下一步AGI发展的指导原则进行细节讨论。那么，如果像4年前那样再组织下一次人工智能国际会议，你会讨论哪些议题，会将什么问题放在议程最优先的位置？

Tegmark：是的，我们在波多黎各谈得很好。对于AGI来说，确保它未来发展方向的措施是显而易见的，也就是说，像对待生物制药行业那样对待AI行业。生物制药公司应该首先获得相关监管机构的许可，才能销售创新的生物制药产品。制药公司必须要做临床试验，提供证据证实自己的药品安全有效、获益大于风险，才能从监管机构得到销售许可。人工智能产业还处于监管的早期阶段。在我看来，受到恰如其分的监管，是生物制药行业发展相对较好的原因。人工智能产业还处于监管的早期阶段。我相信不论是在美国还是在中国，没人会同意免除所有临床试验，为一些不负责任的公司售卖有害产品开方便之门。

所以，如果要再举办一场AI国际论坛，将如何监管人工智能发展作为重要主题，可能是比较合适的。让来自全球的嘉宾开放讨论他们是如何监督航空业、汽车业、生物制药的，这些行业的最佳实践是什么，是否也可以用到对人工智能产业发展的监管中来。这样的讨论是可以很快出成果的。这样也能为我们争取时间，去研究解决你刚提到的一些更困难的问题争取时间。

司晓：好的，谢谢你的回答，对你的回答我很有感触。人工智能尚处在爆发期，在技术和商业上都有很多不确定性，监管的难度是比较大的，各方面的争议也比较多。

我的另一个问题是，数月前，Geoffrey Hinton提出了“可朽计算”(mortal computer)的概念。大意是把AI与硬件绑定，比如以很低的成本给烤箱装上GPT，用数瓦的电力就可以驱动，很像人类这样的有机生物智慧，能耗低，智慧会随着硬件的损耗而流逝，所以叫作“可朽计算”。在你的《生命3.0》一书中，你设想通过将AI与人类结合，打破很多生命体的生物局限。机器变成凡人，人类可以不朽。大型语言模型的出现，让人类文明第一次如此接近AGI。这些新变化，是否让你对未来人类的生存形态有新的设想？如果有机会重新写《生命3.0》，你最想修改书中的哪部分？

Tegmark：是的，我同意你的说法，AI的发展仍然有很多可能性。

我想，未来会变得如何，仍然一个非常开放的问题。但无论如何，掌控权必须掌握在人类手中。一般来说，技术创新带来功能更强大的技术，如果掌控权在我们手中，就好比你可以很好控制你的智能手机，那么智能手机就会是一个有帮助的工具，让你更好完成以前做不到的事情。但如果我们对创新的成果没有掌控权，那情况可能会很糟糕。

如果某天超级智能问世，我们不应该只把它看作是蒸汽机或电这样的新技术发明，而是把它看作出现在地表的新物种。与新发明不同，新物种会自我复制，并且有自己的想法和目的，所以我们必须非常、非常小心。我们不会担心像牛羊这样的既有物种捣乱，因为这些物种很容易控制，就智力水平而言，我们远远胜出。而如果我们创造出超级智能这样比我们聪明得多的新物种，事情就反过来了，控制这一新物种异常困难，很容易就失去对它的控制。

所以我想，如果我们把事情做对了，找到方法确保让机器与我们的目标一致、始终站在我们一边，辅助我们，人类的未来就十分美好。像刚才主持人提到的，人工智能协助我们治疗所有疾病、消除饥饿和贫困、实现世界和平、探索未知宇宙。但这些的前提都是掌控权在我们手里。所以与其问超级智能将如何改变未来，不如问我们到底想要一个什么样的未来？然后再看如何走向我们想要的未来。

在我看来，中国在这些方面可以扮演非常关键的角色。中国是存续了数千年的古老文明，有更加深厚的长远思考的传统。我真的建议大家多想想，人工智能对人类的未来意味着什么，详细阐述出来与所有人分享。如果全球能够对未来愿景达成积极的共识，每个人都会从中获益，互相合作共同建设这样的未来愿景也会容易很多。

司晓： 是的，同意，掌控权必须抓在我们手里。你刚才在主题演讲中提到了未来生命研究所最近发布的公开信，呼吁将研发比GPT-4更加强大的AI系统暂停至少6个月。Elon Musk和AI领域的一些重量级人物都在信上署名。这一呼吁得到相当多的关注，并引发了广泛讨论。我记不太清这封信具体的发布日期了，是不是已经过去六个月了。Geoffrey Hinton为了敲响AGI的警钟，在今年早些时候从Google离职，距离他谈论“可朽计算”仅仅几个月的时间。马斯克则一度认为AGI是人类走向星际文明的必由之路。

如果我没理解错的话，今年以来，Hinton对AI的态度发生了180度的大转变。那么，你对AI发展的未来仍然持乐观态度吗？你是否同意AGI总体上对人类有益，未来生命研究所提出的阿西洛马AI原则是否足以保护人类免受AGI的威胁？

Tegmark：我一直相信AI要么成为人类历史上最棒的事情，要么成为人类历史上最糟的事情。而到底是最棒还是最糟，选择权在我们手中。对于我们是否能很好处理人工智能挑战，说实话，在过去的一年里，我多少感觉更悲观一点。我一开始曾经期待，当人工智能的挑战越来越明显的时候，政策制定者会更快采取行动,对人工智能的发展进行监管。就像我刚才提到的，他们已经在生物、航空和其他领域做了很长时间的监管，已经有经验了。

但到目前为止，各国的监管还比较初步，虽然有很多讨论。但我希望能有更多的政策出台。

重要的是要记住，我们几乎可以肯定未来会发展出强大的、超过人类的AI，但不能保证它会是友好的。我们必须做出努力，统筹协调监管、合作和安全技术，确保AI是对人类有益的，而不是指望这一点会自动实现。在这个问题上，我们没有任何懈怠的空间。

司晓：好的，我问得更具体一点，价值对齐（Value alignment）被认为是解决AI挑战的一个重要方法，确保AI的决策与人类的价值观和道德观念一致。对齐也是阿西洛马AI原则的基本思想之一。对齐不是自动实现的，需要大量的资源投入来保障对齐。Open AI说他们打算将20%的计算资源用来支持价值对齐研究和技术实践。这个投入力度不小，但你认为这足够吗？大模型公司需要如何保障价值对齐的投入？全球不同的组织在不同的地区训练不同的大语言模型，又如何确保在不同实体、地区之间实现普遍的对齐？

Tegmark：我认为Open AI现在能做的最好的事情，就是停止训练GPT-5或其他更强大的模型，并承诺在我们弄清楚如何保障人工智能安全性之前，不会发布比GPT-4更强大的东西。但问题是，人工智能公司同时面临来自同行的竞争压力，没有公司会自觉独立停止研发，因为这么做除了让自己输掉竞争之外，不会有其他作用。所以这就是为什么我觉得我们必须达成一个覆盖全球的安全标准。所有人都必须遵守这个标准，都在同一个水平上公平竞争。这样我们才能实现有意义的“暂停”。

对于第二个问题，我们应该在什么基础上达成一致，尽管不同国家不同企业往往有不同的角度和观点，但实际上我觉得情况比大多数人想象的要乐观。我在前面主题演讲的开头提到了联合国的可持续发展目标(SDG)。SDG是非常大、非常有雄心的目标，而且全球大多数国家，不管是中国美国俄罗斯还是印度，都赞同这些目标。那就从这些我们都赞同的目标开始，然后再去一点点深入到细节。我们应该相信，与机器相比，人类之间的共同点非常多，我们都要吃饭睡觉、都敬畏生命、都珍视家庭。

而对大语言模型、对AI来说，那是我们完全陌生的思维方式。这些AI的思维空间远远大于人类的思维空间，不难想象，这样一个AI完全不关心上面提到的这些、对我们来说非常重要的东西。它可能只是想把地球变成一个越来越大的GPU服务器农场，或者把太阳变成戴森球（弗里曼·戴森设想的开采恒星能源的人造天体），或者把行星排列成其他形状，等等。所以，我说这些的意思是，人类所一致希望的那些东西跟机器的疯狂想法相比，是根本没有可比性的。先弄清楚如何让机器与我们都同意的全球价值对齐，是个很好的起点。

司晓：AGI的挑战一方面是如何负责任地开发，另一方面是如何负责任地使用。为了能够与智能机器共存，我们需要对今天的教育系统进行更新，让每个人都做好准备，特别是年轻一代。因为教育是最先被AI改变、受到AI影响的领域。

我最近与香港大学的一位教授朋友交谈。他告诉我，GPT在校园里被广泛误用。学生们现在使用ChatGPT来做作业，写论文。他问我是否有可能开发一些算法来检测学生作业的“含GPT量”。他也感慨，未来教育会不会变成一个不同的智能工具之间的竞赛，一个AI做作业，一个AI检测“含GPT量”。学生和老师之间的教和学，是不是会变成一场谁能更好使用AI的攻防战。Max您是MIT的教授，对这样的攻防战应该有一手经验。那么，你如何看待AI对人类教育和学习模式的长期影响？这样的攻防战是为了让年轻一代适应即将到来的AI时代的必要之恶吗？

Tegmark：我同意你说的，它对教育有深远的影响。确实会有这样一场竞赛，一个AI检测作业是否是机器生成的，另一方面学生使用AI来做作业，而且教授们将输掉这场竞赛，因为这些大型语言模型，本身就是为了把人工智能训练得越来越像人类，并且确实做到了。但我认为，我们必须做的是真正地改变，是如何教学和测试学生。更深层次的问题是，如果机器能比人类更高效更好地完成所有工作，那么我们首先就要问问自己，生而为人的意义是什么。一开始，我们就不应把自己置于非要与机器竞争的境地，毕竟它们可以以极低成本做得比我们更出色。

我们可能决定保留一些工作，这些工作可以赋予人生意义，即便机器可以更便宜地完成这些工作。我们不应该只是考虑工程师或者AI研究这样的工作，可能要谈谈像心理学家、教师和社会工作者这些工作，谈谈什么能带来幸福，我们想要什么？我们想在AI时代建立什么样的社会，使AI让我们变成更好的自己，使生活更有意义，而不是与机器竞争工作岗位。

司晓：好的。由于时间关系，我想我应该在这里停下。非常感谢Max的精彩发言和这次引人入胜的讨论。我认为你所有的新观点都为人类和AGI共同创造一个更美好的未来带来了希望。再次感谢你的分享。