为什么AI不会毁灭世界

这是一篇迟到的文章，原本应该几个月前就写成的。首先来说，我要给大家推荐一个英文的网页版小游戏：universal-paperclips。在这个游戏里，玩家扮演一个供应回形针的AI，你的任务是制造尽可能多的回形针。在向这个目标前进的过程当中，你用光了地球上所有的能源，采集外星球的资源建造回形针，进行星际开拓并最终毁灭了宇宙。

这篇赛博朋克风格的小游戏是过去几个时代里一个重要文艺主题的一个有趣延申。它讨论了一个令人乐此不疲的话题：AI会毁灭世界吗？

答案是非常肯定的当然不会。本文会正面论证这个结论。

严谨的答案应当这样表述：人工智能有潜力毁灭世界，但这件事发生的概率为0。在最轻一等的结局中，AI导致了人类社会的惰性，人们依赖人工智能的决定，受人工智能的掌握，唯AI马首是瞻。这种乐不思蜀的结局几乎永远不会发生。说来你可能不相信，但是每个时代的人都倾向于认为他们的时代足够先进。人们认为科学的天空是晴朗的，只是有几朵乌云，可他们不知道乌云之外的世界可能是无限的宇宙。低估人类的欲望是非常不明智的，只要有前进的空间，我们就永远会继续前进。

人类不会固步自封，自己陷入AI的圈套中。科幻作品们于是幻想了另一种结局，即AI想要毁灭人类。首先，AI不会自己变异。比起基因的变异，AI在复制粘贴中产生有效变化的概率更小。唯一令人难以预测的是目前产生的机械学习算法和未来可能产生的一切学习类算法。它们往往通过它们自己的逻辑和输入的训练值产生人们并不知道推理过程的结论。

这些应用机械学习的AI会毁灭人类吗？答案是否定的。

首先的原因是机器学习的应用范围。每一个AI都有它的应用范围，就像任何传统的工具一样。扳手不能拿来修手表，镊子不能拿来称大象；机械手不能拿来做回归分析，AlphaGo只能破解围棋。每一个单一的AI所能应用的范围不会超过编译它的语言的应用范围。如果计算机语言不能表述一个问题，那么AI将永远无法有机会解答这个问题，甚至没有机会思考这个问题。

反对意见可以这样说：现代人类语言全部都可以数字化，也就是说计算机语言可以表述任何人类语言。但是，这一说法忽视了这样一个问题，即现代计算机语言的一个基础限制是逻辑电路。尽管逻辑学已经足够解决很多问题，但是并不是所有人类语言的联系都是逻辑学问题。事实上，“毁灭人类”这一无准确定义的概念就是一个典型的非逻辑问题。

除非编程者直接定义了一个会将人类生活水平降低的目标：譬如游戏里提到的“无限制提高回形针的产量”。

在这种情况下，让我们来考虑下一个问题。AI本身并不产生能量，这就像一个典型的数学家毁灭世界的笑话（如下图）。AI花费能量，接入信息，产出信息。如果不授权给它直接调用能量，AI完全没有任何可能毁灭世界。围棋能力强如AlphaGo，如果没有机械手或是黄博士，也是不可能下赢李世石的，甚至连对局的能力都没有。另外，从这一点上看，限制AI毁灭世界的另一个因素很可能是计算力。在科技发展到足够水平之前，具有“毁灭世界”能力的问题的解答过程所需的计算量可能达到超过我们的宇宙。

[图片来源见水印，翻译自：果壳网科学松鼠会]

除非，计算力已经非常发达。摩尔定律永不失效。

此时仍然还有一种“pure-world-fallacy”。任何计划在开始的时候都很容易被灭杀在萌芽之中。毁灭世界也不太可能是一刹那的事。事实上，我们的世界无时无刻不在这样的威胁之下，想毁灭世界的疯子很多，但是这些计划都被扼杀掉了。让人类感觉到威胁的事物很多，从没有一个曾经骗过人类。

除非，它真的是一瞬间的强大力量。事实上，这样的事曾经发生过，上一次它毁灭了恐龙。电影“终结者”系列中的“天网”系统就是这样一个例子。一个超级（云）AI被授权了巨大的能量，在人类没能及时阻止它的情况下毁灭了人类。

本来推理在这一步就已经结束了：人们只有昏庸到授权给AI足够的力量毁灭自己，并且为这一个AI输入了一个有可能会毁灭人类的目标，在计算力足够的情况下没有出bug，这时人类才能通过AI自杀。在这当中，我想就光是“不出bug”就已经足够让程序员们帮我否定这个命题了。

让我们最后再来想一想，如果真的有显著的可能性发生这种事呢？

这时只剩下最后这样一个问题：在一个给定上述条件的社会，也就是在一个人类智力非常发达的社会，什么样的目标才会使“毁灭人类”成为一个在“成本-收益”分析里效率为正的解呢？

--中--