危险！立即暂停！马斯克等超千人紧急呼吁

中国基金报 泰勒

科技圈出大事了，近日，包括马斯克、苹果联合创始人斯蒂夫·沃兹尼亚克在内的1000多名人工智能专家和行业高管签署了一份公开信，他们呼吁将AI系统的训练暂停六个月，理由是对社会和人性存在潜在风险。

马斯克、图灵奖得主等千名专家呼吁暂停超强AI研发，至少6个月

事情是这样的，29日，未来生命研究所（Future of Life Institute）公布一封公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统至少6个月。

截至发稿，这封信已有1126名科技领袖和研究人员签名，除了马斯克、辛顿和马库斯之外，还包括图灵奖得主约书亚·本希奥、《人工智能：现代方法》作者斯图尔特·罗素、 苹果公司联合创始人史蒂夫·沃兹尼亚克、Stability AI首席执行官埃马德·莫斯塔克等科技界领袖人物。

公开信内容是这样的：

具有人类竞争力智能的AI系统可能会对社会和人类造成深刻的风险，这一点已经被广泛研究并得到了顶级AI实验室的认可。正如广泛认可的 Asilomar AI 原则中所述，高级 AI 可能代表地球生命史上的深刻变化，应以相应的关怀和资源进行规划和管理。不幸的是，目前尚无这种级别的规划和管理。最近几个月人工智能实验室陷入了一场失控的竞赛，他们致力于开发和部署更强大的数字思维，但是没有人能理解、预测或可靠地控制这些大模型，甚至模型的创造者也不能。

当代人工智能系统现在在一般任务上表现与人类相当，我们必须扪心自问：

我们是否应该让机器用宣传和虚假信息充斥我们的信息渠道？

我们是否应该自动化所有的工作，包括那些富有成就感的工作？

我们是否应该开发非人类的思维，可能最终会超过我们、智胜我们、使我们过时并取代我们？

我们是否应该冒险失去对我们文明的控制？

这些决策不能委托给未经选举的技术领袖。强大的AI系统只有在我们确信其影响将是积极的、风险可控的情况下才应该开发。这种信心必须有充分的理由，并随着系统潜在影响的程度增加而增强。OpenAI 最近关于人工智能的声明指出：「在开始训练未来系统之前进行独立审查可能很重要，并且对于最先进的工作来说，人们应该在合适的时间点限制用于创建新系统的计算增长率。」我们认为，现在已经到了这个时间点。

因此，我们呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统至少6个月。这种暂停应该是公开和可验证的，并包括所有关键人员。如果无法快速实施这样的暂停，政府应该介入并实行叫停。

AI实验室和独立专家应该利用这个暂停时间共同开发并实施一套共享的高级AI设计和开发安全协议，这些协议应该由独立的外部专家进行严格审核和监督，这些协议应确保遵守它们的系统是安全的，无可置疑的。这并不意味着总体上暂停 AI 开发，而是从具有新兴功能的、不可预测的大型黑盒模型的危险竞赛中后退一步。

人工智能的研究和开发应该重新聚焦于使当今强大的、最先进的系统更加准确、安全、可解释、透明、稳健、一致、可信和可靠。

同时，AI开发人员必须与决策制定者合作，大力加速强大的AI治理系统的发展。这些治理系统至少应该包括：

专门针对AI的新型和有能力的监管机构；

对高能力的AI系统和大量计算能力的监督和跟踪；

帮助区分真实和合成数据的溯源、水印系统，并跟踪模型泄露；

一个强大的审计和认证生态系统；

对由AI引起的损害的责任；

针对技术AI安全研究的强大公共资金；

资源丰富的机构，以应对人工智能将造成的巨大经济和政治混乱。

人类可以在AI的帮助下享受繁荣的未来。我们已经成功地创建了强大的AI系统，现在可以享受“人工智能之夏”，在这个夏天，我们收获了回报，为所有人明确的利益设计这些系统，并给社会一个适应的机会。社会已经暂停了其他可能对社会产生灾难性影响的技术的发展。我们在人工智能领域也能这么做。让我们享受一个漫长的AI夏季，而不是匆忙而不准备地迎接秋天的到来。（Let's enjoy a long AI summer, not rush unprepared into a fall）。

GPT-4老板：AI可能会杀死人类，已经出现我们无法解释的推理能力

值得一提的是，OpenAI CEO奥特曼Altman在与MIT研究科学家Lex Fridman的最新对话中指出，AI已经出现其无法解释的推理能力，同时承认“AI杀死人类”有一定可能性。

在此次采访中，Altman提出了一点关于GPT的新颖之处，即推理能力。“这个模型的神奇之处在于…对于很多它都不准确的定义，它可以进行某种推理。”

Altman指出，“我认为这很了不起，最令人兴奋的是，在提取人类知识的过程中，它产生了这种推理能力。”

Altman谈及了近期围绕ChatGPT产生的诸多问题，坦承就连OpenAI团队，也根本没搞懂它是如何“进化”的：

从ChatGPT开始，AI出现了推理能力。但没人能解读这种能力出现的原因。

唯一的途径是向ChatGPT提问，从它的回答中摸索它的思路。

Altman称不会回避“人工智能可能杀死全人类”的说法。Yudkowsky此前指出“人工智能可能杀死所有人”。对于此，Altman回应道，“我认为有这种可能性，并且承认这一点很重要，因为如果我们不谈论它、不把它视为潜在的事实，那么我们就不会投入足够的努力去解决这个问题。” “我认为我们必须开发新的技术来解决这个问题…我所知道的解决这类问题的唯一方法就是不断迭代，尽早学习。”