未来人工智能的这几大难题，想到对策了吗？

随着人工智能社会的到来，人与人互动而造成的复杂现象会超过人工智能本身的技术解释能力。那么，人工智能的发展会给人类社会带来哪些新的难题呢？让我们跟随复旦大学EMBA《危机管理》授课教师鲍勇剑一起探索人工智能的奥秘。

未来人工智能的这几大难题，

想到对策了吗？

《驭天算法》（Master Algorithm）的作者多明格斯（Pedro Domingos）说:“所有的知识，过去、现在、将来，都终将可以由单一的通用学习算法处理数据而成”，这个单一的通用算法就是“驭天算法”。如果“驭天算法”一旦出现，人工智能很有可能遭遇到布克斯特伯（Richard Bookstaber）在《理论的尽头》（The End of Theory: Financial Crises, the Failure of Economics, and the Sweep of Human Interaction）中所描述的四大难题。布克斯特伯在书中提到，人是最活跃的自由因子。随着人工智能社会的到来，人与人互动而造成的复杂现象会超过人工智能本身的技术解释能力。

第一个是“渐显现象”的难题 (emergent phenomenon)。典型“渐显现象”表现在一大群动物“狂奔踩踏”（stampede）。在我居住的加拿大卡尔加里有年度“狂奔节”。它取自早期土著人利用牦牛的群体狂奔特性，驱赶牛群投崖自杀。野牛狂奔总是呈现出一个特征。它逐渐显现、开始由个体影响个体、最终成为有约束性的群体行为。个体的“理性”行为，如逃避狩猎追捕，逐渐呈现到集体层次时，它变成难以理解，如一齐奔投断崖。个体行为相互影响而形成集体趋势，它不一定都是“坏”结果，但结果往往无法预测，因为它取决个体之间的互动过程特征。

“渐显现象”在自然界中普遍存在，天空中群鸟齐飞就是一种“渐显现象”。软件工程师雷诺兹（Craig Reynolds）建立了一个模型，解释鸟类群飞的形成规律：（1）保持与其它鸟之间的距离。（2）保持与邻近的鸟伴一致的速度和方向。（3）总是努力靠近群鸟的中心位置。结论是，“渐显现象”也是有规律可循，不过它的规律不是那么精确细腻，更体现一种粗犷的、大致的、灵活的指导性原则。科学家称之为鲁棒的（robust）、启发式的（heuristics）指导原则。

如今，人工智能已经把鲁棒的、启发式的认知原则结合到最新的深度学习之中。谷歌的“Alpha Go”大胜人类选手，依靠的就是人工智能的深度学习和多层卷积神经网络算法。通俗地讲，“Alpha Go”超越过去用逻辑和概率分布的方法，因为它不可能穷尽围棋的宇宙量级的步骤。新的算法融合人的思考习惯，把过去各位大师判断的直观启迪原则结合到步骤分析中。更进一步的是，它不断根据对手的步骤闭环修改过去的判断（既有反馈，又有前馈）。在闭环回馈中，任何前面步骤（历史上）的非优化选择不断得到优化。大数据、逻辑概率运算、直观启迪原则、闭环回馈，这四者与电脑硬件相结合，“Alpha Go”战无不胜。

然而，人工智能的一个策略盲点恰恰就在它对鲁棒式的、启发式的直观原则精细化算法中。它把原本非理性的成分统统理性化了。

社会“渐显现象”有三个要素，它们本质上显示渐显过程的不完美性和不可操纵性。第一，作为个体的人是自由因子（agent）。他/她做有限理性的决策，他们的互动形成渐显现象。群体渐显的结果不一定符合个体追求的目标。个体理性，集体可能非理性。例如，金融危机时，个体逃离行为造成市场践踏，产生救市的反效果。第二，鲁棒式的、直观启发式的原则之所以存在，就是因为有容错的进化要求。这些看似大而化之的直观原则不精确、不逻辑甚至非理性，但有生物进化的优势。例如，类似孔雀以开屏择偶，选择新兴的软件产品时，用户企业倾向于追随行业大户，因为这个鲁棒的直观原则有代表性的信息优势。随大户，企业可以忽略许多信息，简化判断过程。第三，渐显现象的直观启发原则稳定，但内容和过程形式有各种变异，因为人的愚蠢性往往只有到现象显示成形后才能被认知。例如，类似2008年的金融危机在历史上发生多起，只不过内容和过程有差异。而人的愚蠢性是人性的一部分，不可剥离。

可是，人工智能在深度学习上的发展已经改写了社会“渐显现象”的上述三要素：（1）闭环回馈、反刍式学习系统可以不断修改历史经验，去除历史判断的“错误”。（2）经过精细化分析，鲁棒式的直观启发原则已经异化，失去它们在有机生命进化过程中的原始作用。（3）“愚蠢性”只会在算法里出现一次，不会重复，因为历史经验可以在闭环回馈中修改。

这样一来，社会互动可能成为算法的“奴隶”！渐显现象可以完美化，可以被操纵！待到超级智能出现，我们是否会怀念愚蠢的价值？

第二个是不可减约性（computational irreducibility）的难题。在《理论的尽头》中，布克斯特伯这样解释，用比例缩减的方法，地图代表表现所覆盖的地貌，但是，如果有一种地貌，缩减了就失真，只能原貌理解，那它就有计算上的不可减约性，地图非得和地貌一样大。

著名的“生命游戏”为理解不可减约性提供了一个生动的参考。20 世纪70 年代，数学家康威（John Conway）设计了一个“生命游戏”（game of life）。它模拟细胞自我复制的过程。游戏本身只有简单的规则（算法）。他要研究同样的规则和重复的过程是否能产生同样的结果。实验答案是否定的。你必须经历过整个自我复制的过程才能看到最后结果。即使演变规则和过程确定，结果状态仍然无法事先决定。

今天的人工智能技术发展体现在算法、硬件、云计算、大数据、网络这五个方面。参考尼尔森（Nils Nilsson）的《人工智能探寻历史》（The Quest of Artificial Intelligence）, 我们看到今天较为成熟的五方面技术经历过至少八个学科（逻辑、电脑、心理学、数学、语言学、文化人类学、神经科学、伦理学）交错影响的发展过程。但一个严重的问题是，目前人工智能在应用领域只强调单项功能优化，未能保持跨学科融合。

怎样避免单点技术突飞猛进，进而左右人工智能未来的发展？怎样保持相关的学科持续参与超级智能形成过程？忽视“不可减约性”，就不能体会坚持跨学科融通的重要性。

“生命游戏”证明每一次生命产生不可减约。只有经历全过程，才能看到每个生命的全貌。就像假设中无法用地图缩减的地貌，无论算法多么强大，它难以减约八个学科交错影响的过程。除非保持跨学科融通，下一步人工智能发展必定发生荒诞现象。

第三个是极端不确定性（radical uncertainty）的难题，即我们常说的“无知的未知”可能带来灭绝危机。极端不确定性经典案例之一便是6 千万年前天外陨石造成地球物种大灭绝。对人工智能隐藏的极端不确定危险，牛津大学的博斯特伦（Nick Bostrom）假设四种发展前景：AI 为工具，AI 为专业领域的专家系统，AI 为超人的任务执行者，AI 为具备超级智慧的独立主体。后两种情形，无论是超级执行者或超级智慧主体，都可能给人类带来极端不确定性的危险。当我们看到极端不确定可能带来灭绝危机时，一切将无法改变。

超级智慧终将到来。按照博斯特伦推演，每一条可能的路径都包含对人类未来的极端不确定性危险。第一，超级智慧可以通过选择性进化的方式实现。有机生命进化过程中有诸多累赘的曲折。人工智能可以选择性避免它们，达到超过人认知和行动能力的超级智慧阶段。第二，它也可以通过全息模仿人脑的生理结构和活动而到达超级智慧。第三种是人机交合，汇总有机生命和无机生命的智慧。第四可以利用网络，联网所有的智慧体来创造新组织，制造新智慧系统。第五是综合包括人和动物在内的一切超长能力，演变出超级生物体。

博斯特伦的研究表明，超级智慧诞生也许是一个百年的历程。可是，一旦越过意愿的门槛，即人工智能有了自我意识，它就会以人类意想不到的速度和方式获得决定性的战略优势。到那时，人可能被机器奴役，可能被超级智慧改写意识和潜意识，可能成为杂交的新认知物种，也可能世界大同、合作共存。几种情境中，人性被改造的可能性最高。

事实上，即便在目前的弱人工智能阶段，它已经有了不可控的因子。深度学习中有“监控的学习”和“无监控的学习”。后者依靠人工智能的内部自我组织优化旧知识、制造新知识。所谓“人的最后一次创新”就是指创造出从此可以自我组织新知识的人工智能。在这一奇点之后，“控制”是一个过期的词。如何与超级自由因子合作共存便成为人类不得不做的选择。

第四个是社会价值与能力非均质分布（non-ergodic society）的难题。统计学上的均质分布（ergodicity）概念对人工智能很重要。它是算法中包含的贝叶斯概率论（Bayesian probability）的前提条件。通俗地讲，“均质分布”指大数据分析总结出来的规律对整个人口有普遍适用性。例如，在公共场合的某些综合行为特征预示犯罪倾向。这个规律被纳入算法，并假设它普遍适用于预防犯罪的人工智能中。可是，具有能动性的人与社会始终处在开放的、随机的变化中。依据历史数据的算法强制性地赋予新鲜社会情境以旧特征。被强制的“均质分布”掩盖诸多社会价值和能力的“非均质分布”特征。它与“贼的儿子是贼，法官的儿子是法官”的偏见没有本质区别。

人工智能给社会各个阶层带来的冲击是非均质的，不是每个阶层都同意的。当前从事重复性、规范化、低判断能力工作的阶层首先将被其替代。即使人工智能被社会大多数拥护，对少数人的剥夺是一个不可让渡的权利问题。

人工智能引发的统治关系的改变是非均质的。第四范式的创始人戴文渊生动地描述了他们“先知系统”的潜在力量：让牛顿和爱因斯坦失业！即使在弱人工智能阶段，由少数超级智慧的科学家开发出来的算法有凌驾于领域专业技能之上的“驭天能力”（master capability）。它出现后，一个领域内的商业竞争便化为“政治统治”，即从价格关系转换为知识权力关系。在商业统治与被统治关系下，企业意愿不可能一致，对超级算法的合法性一定有不同立场。

人工智能还有国与国之间、种族之间、当代人与未来人之间的非均质分布难题。我们的社会价值和能力偏好会影响到对人工智能发展道路和程度的选择。但这不一定是其他人甚至下一代人愿意做出的选择。

- 鲍勇剑 -

加拿大莱桥大学管理学院副教授（终身）

复旦大学管理学院特聘教授

美国南加州大学获公共管理博士

复旦大学EMBA《危机管理》授课教师