火宣说：当心！人工智能也会“好心办坏事”

火宣

【水瓶男】

评大势起落，一针见血；

断风云起伏，一语中的；

看人心世事，一眼望穿。

久违了，我是火宣。我不是跳脱出俗世的圣人，不过是比一般人看得更透，更深，更远罢了。

就酱。

一年前，霍金在访问中国时曾向世人重申：“强大人工智能的崛起，对人类来说，可能是最好的事情，也可能是最糟糕的事情。”在很多场合，他反复告诫人类，要警惕人工智能可能会带来的威胁，并呼吁建立有效机制，尽早识别威胁所在。

如今这位天选之才，已无法再继续见证人类与AI之间的未来博弈。然而，围绕AI的种种争论仍将继续。

在关于未来的诸多想象中，AI对人类的反叛主要存在两种可能：第一种，AI被人类中的少数邪恶势力所控制，从而犯下滔天罪行，在这种情况下，人类与AI之间的对抗，归根结底仍是人性的善恶之争，光明与黑暗的博弈；第二种，AI发展出自我意识，并试图控制、奴役人类。对抗的本质演变成不同物种之间的战争，事关人造与天生的界限如何划定、如何各安其位。

在第一种可能中，AI是邪恶势力手中的刀；而在第二种可能中，AI就是邪恶势力本身。那么，是不是只要AI始终保有善意，并且只听命于善良的人，人类就绝对安全？换句话说，AI会不会好心办坏事？

答案是会。

在传统定义中，AI被设定为“机器通过智能去达成某种特定目标”。在这一定义之下，我们不得不面对两个核心问题：第一，如何确保我们给机器输入的目标是正确的？第二，如何确保机器达成目标的行为模式是正确的？

第一个问题，是“价值一致性问题”，意思是我们所阐述的目标，和我们真正想要的结果可能并不一致。正如古希腊传说中的迈达斯国王，当他向神灵祈求“希望自己触碰的所有东西都变成金子”时，就根本没有预见到，当所有的食物甚至家人都变成金子，自己也只能死于饥饿与痛苦。

第二个问题，当达成目标成为最高准则，机器很可能会以一种极具防御性甚至攻击性的模式去完成任务。举个例子，在接收到“为主人取咖啡”这一指令时，机器为避免任务失败，可能会推导出这样的逻辑：1.如果有人切断我的电源，那么我将无法完成任务；2.为防止有人切断电源，就必须把每一个靠近我的人类甚至小动物电晕。

加州大学伯克利分校人工智能学者斯图亚特·拉塞尔指出，以上两种假设尽管看似荒谬，却是人工智能发展进程中必须解决的核心问题。否则，人类所想象的所谓“超级智能”，或许只是一根筋的高智商，既是天才，又是白痴。

因此，人类需要更安全的AI准则，而问题远比我们想象的要复杂得多。

这一准则（或是系列准则）的完善过程，也将成为AI不断进化的过程。同时必须强调，该准则的构建必须基于人类的善意共识。此外，AI的进化也将成为人类精神进化的一面镜子，如果人类放弃自我反思，不断降低自我要求，我们又有什么资格要求AI必须在具备超强执行力的同时，还必须遵循善良、节制、勇敢、正直等等古老的美德？

未来，人类理应基于区块链底层协议达成善意共识，通过连接每一个人结成E2E人联网，让全体人类成为一个“庞大的巨人”，才能确保高科技手段不被少数人利用并反过来控制人类；未来，人类也必须在持续的进化中升华自我，才能让强大人工智能的崛起成为“最好的事情”，而不是“最糟糕的事情”。

而这，必定也是霍金所期盼的未来。