人工智能发展的如火如荼，是时候讨论一下它的益处和风险了

什么是人工智能？

从SIRI到自动驾驶汽车，人工智能（AI）正在迅速地发展。虽然科幻小说经常将人工智能描绘成具有类人特性的机器人，但人工智能可以涵盖从谷歌（Google）的搜索算法，IBM沃森 (人工智能程序)，到自动武器的任何科技。

当今的人工智能被正确地称为专用人工智能（或弱AI），因为它被设计来执行的任务范围狭窄（例如，仅执行面部识别，或只进行互联网搜索，或仅驾驶汽车）。然而，许多研究人员的长期目标是创建通用人工智能（AGI或强AI）。虽然专用人工智能 能在其特定的任务上超越人类，如下棋或解方程，AGI将在几乎所有认知任务上超越人类。

为何研究人工智能的安全性？

在短期内，保障AI对社会有益的科研范畴可涵盖诸多领域如经济学和法学，以及验证法、有效性计算、安全性和控制论等技术层面课题。如果安全保障仅限于防止你的笔记本电脑宕机或被黑客入侵，就算出了问题也只是给你添点小麻烦。但当AI系统控制汽车、飞机、心脏起搏器、自动交易系统或电网时， 我们必须保证该系统完全遵照我们的指令，否则后果将不可设想。另一个短期挑战是如何防止自主武器的毁灭性军备竞赛。

从长远来看，一个重要的问题是，如果我们成功创造了能在所有认知功能上超过人类的通用人工智能，将会发生些什么。正如约翰·古德（Irving John Good）在1965年所说的，设计更有智慧的AI系统本身就是一个认知任务。这样的系统有潜力执行递归式的自我完善，触发智能爆炸，并远远地超越人类智力。通过发明革命性的新技术，这样的超级智能可以帮助我们消除战争，疾病和贫困。因此，创造强AI可能是人类历史上最重大的事件。然而，一些专家表示担心，人类的历史也会随着此类的超强大AI的诞生戛然而止，除非我们学会在AI成为超级智能之前即可使其与我们同心所向。

有些人质疑强AI是否会实现， 也有些人坚信创建超级智能对人类必定是有益的。FLI承认这两种情形皆有可能，但我们更意识到人工智能系统具有有意或无意造成巨大危害的潜力。我们相信今日的研究意在防患于未然，使得未来人们受益于AI的同时，规避潜在风险隐患。

人工智能如何可能制造危险？

大多数研究人员同意，一个超智能AI不可能产生人类的情感，如爱或恨。他们也认为人们没有理由期望AI有意识地趋善向恶。当考虑AI如何成为风险时，专家认为有两种情况最有可能发生：

AI被设计执行毁灭性任务：自主武器（autonomous weapon）是为杀戮而生的人工智能系统。若落入恶人手中，这些武器很容易便可造成大量伤亡。此外，AI军备竞赛也可能无意中引发AI战争，导致大量伤亡。为了避免被敌对势力从中阻挠，这些武器的“关闭”程式将被设计得极为复杂，因而人们也可能对这种情况失去掌控。这种风险虽然也存在于专用人工智能 （narrow AI）中，但随着AI智能和自驱动水平的提高，风险也会跟着增长。

AI被开发进行有益的任务，但它执行的过程可能是具破坏性的：这可能发生在我们尚未达到人类和人工智能目标的一致性（fully align），而解决人类和人工智能目标一致性的问题并不是一件容易的事。试想，如果你召唤一辆智能车将你以最快速度送到机场，它可能不顾一切地严格遵从你的指令，即使以你并不希望的方式——你可能因超速而被直升机追逐或呕吐不止。如果一个超智能系统的任务是一个雄心勃勃的地球工程项目，副效果可能是生态系统的破坏，并把人类试图阻止它的行为视为一个必须解除的威胁。

以这些例子来看，我们对高级AI的担忧并非在于其可能产生恶意，而是它可能达到的能力。超智能AI将非常善于完成其目标，如果这些目标不与我们的目标形成一致，我们麻烦就大了。正比如，你可能并非对蚂蚁深恶痛绝，也没有踩死蚂蚁的恶意，但如果你负责水电绿色能源项目，而项目开发的所在地区有一个蚁丘会因为大水而被淹没，那只能说是算蚂蚁倒霉罢了。人工智能安全研究的一个关键目的就是要避免将人类置于和这些蚂蚁同样的位置。

为何人们最近对AI安全感兴趣？

史蒂芬·霍金、伊隆·马斯克、史蒂夫·沃兹尼亚克、比尔·盖茨等许多科技大腕和许多领导AI研究的科学家最近在媒体和公开信中对AI风险表示关心。为什么这个话题在近期会突然出现在多则头条新闻中呢？

强AI的成功实现一直被认为是天方夜谭，即使得以达成也是最少是几千年以后的事情。然而，由于最近的突破性研究和许多AI里程碑的创造，在仅仅五年前被专家认为是几十年后才能达到的技术，现在已经实现。这让许多专家认真地考虑在我们整个人生中出现超级智能的可能性。虽然一些专家仍然猜测类人AI在几个世纪以后才可能发生，大多数AI研究员在2015年波多黎各会议中预测人类智能级别的人工智能在2060年之前便可能产生。因为AI安全研究可能耗费十几年才能完成，所以我们应该乘现在便进行这些方面的研究。

由于AI有可能变得比人类更聪明，我们并没有确实的方式来预测它的行为将会是如何。对于AI的发展可能衍生出什么后果，我们不能把过去的技术发展作为参考，因为我们从来没有创造出任何能够在智慧上超越人类的科技。事实上，我们最能作为参考的依据便是人类本身的进化史。人类之所以能在今天成为这个星球的万物之灵，并不是因为我们最强、最快或体积最大，而是因为我们是最具智慧的。如果有一天，我们不再是世上最聪明的，我们还能够自信对世界拥有控制力吗？

FLI的立场是，只要我们管理科技的智慧比技术不断增长的力量更加强劲，我们的文明就会持续蓬勃发展。针对AI技术，FLI的立场是，我们应该在不阻碍AI发展的前提下，通过支持人工智能安全研究来加速对AI科技的管理能力。

关于高级AI的误传

关于人工智能的未来以及它对人类意味着什么的对话已经正在进行。当下，AI技术有许多连顶尖专家都无法达到共识的争议，例如：AI对就业市场未来的影响; 人类智能级别的人工智能是否/何时会被开发;AI开发是否会导致智力爆炸;以及这是我们应该欢迎还是恐惧的事情。但当下也存在着许多由误解或人们各说各话所引起的伪争论。为了帮助我们专注于对有意义的争议和问题做出讨论，而不是分心在错误的信息上，让我们首先将一些最常见的误传解除掉

时间推断上的误区

一个常见的误区与AI的时间表有关：那就是人们认为他们能肯定地断定机器极大地取代人类智能到底需要多长的时间。

许多人误认为我们肯定能在这个世纪内制造出超越人类的人工智能。事实上，历史充满了人类将技术夸大的例子。比如说，从前人们认为一定会实现的聚变发电厂和飞行汽车，现如今却从未出现过。 AI这类科技也在过去被人们， 甚至被这个领域的先锋， 一直重复地过分夸大。比如说，约翰·麦卡锡（“人工智能”一词的创造人），马文·明斯基，纳撒尼尔·罗切斯特和克劳德·香农曾写下个过于乐观的预测。单凭当年科技陈旧的电脑，他们提出：在1956年夏天的2个月之内，他们要在达特茅斯学院进行一个10人人工智能的研究。他们企图了解怎样能让机器使用语言，形式抽象和概念，来解决目前只有人类能应对的各种问题，并进行AI自我提升。他们写道，只要有一组精心挑选的科学家们在一起工作一个夏天，就可以在一个或多个问题上取得重大进展。但他们的预测，并没有成真。

在另一方面， 人们之中也普遍流传着另一个极面的预测，那就是我们肯定知道超越人类的人工智能不会在本世纪中出现。研究人员对我们与超越人类的人工智能的距离进行了广泛的估计，但是我们亦不能断定本世纪出现超越人类的人工智能的概率为零，因为这种对科技充满质疑的预测在过去很多时候都是错的。例如，伟大的核物理学家欧内斯特·卢瑟福（Ernest Rutherford）曾在1933年，在西拉德发明核链反应前不到24小时之内说，核能只是飘渺虚无的“月光”。皇家天文学家理查德·伍利也在1956年称行星际旅行不过是“一派胡言“。他们负面的想法显然并不正确。对AI最为极端的预测是，超越人类的人工智能永远不会到达，因为它在物理上是不可能实现的。然而，物理学家们都知道，大脑本身是由夸克和电子排列起来的强大计算机，而世上并没有物理学的规律规定人类不可能建立更加智能的夸克斑点。

目前，已经有一些调查问卷向AI研究人员询问他们对制造类人AI至少有50％概率的时间预测。所有的调查都有相同的结论， 那就是连世界上领先的专家都无法达到共识，所以不要说我们，就更不能知道到底什么时候才会出现超越人类的人工智能。例如，在2015年波多黎各AI会议的AI调查中，平均（中值）答案是在2045年，但当中也有些研究人员猜测超越人类的人工智能只可能在数百年或更长的时间后发生。

还有一个相关的传言就是对AI有所担忧的人认为类人AI在几年内就会发生。事实上，大多数担心超越人类的人工智能会带来隐忧的人，但凡在记录上曾发言过的，都预测超越人类的人工智能至少需要几十年才会发生。但他们认为，只要我们不是100％确定超越人类的人工智能不会在本世纪中发生，最聪明的做法就是乘现在便开始进行安全研究，以防范于未来。许多与人类智能级别的人工智能相关的安全问题非常艰难，可能需要几十年才能解决。所以，与其等到一群过度操劳的程序员不小心启动问题前才做出对策，现在就开始针对这些安全问题进行研究是明智的。

误传的争议

另一个常见的误解是，那些对人工智能感到担忧和提倡人工智能安全研究的人事实上对AI了解并不多。当标准AI教科书作者斯图尔特·罗素在波多黎各会谈中提到这一点时，他逗得观众哄堂大笑。另一个相关的误解是，有些人认为支持人工智能安全研究是极具争议性的。事实上，为人工智能安全研究能得到适当的投资，人们只需要理解到AI可能带来的安全课题不可被忽视， 但他们并不需要被说服认为其风险非常高。这就好比为房屋投保是一样的道理：买保险并不是因为房屋极大的可能被烧毁，而是因为房屋被烧毁拥有不可忽略的概率。为了安全起见，投入AI安全研究是非常合理的。

或许是媒体的夸大使人工智能的安全课题看起来比实际上更具争议。毕竟，在文章中使用恐吓的语言，并利用超出语境的引言来宣扬即将来临的危机可以比发表具平衡的报告引来更多的点击率。因此，若人们只是由媒体报道来了解彼此的立场， 他们可能会认为他们在立场上的分裂比事实上还要严重。比如说，一个对科技存在怀疑的读者只读了比尔·盖茨在英国小报中所叙述的立场，便可能会错误地认为盖茨认为超级智能即将来临。同样的，参与符合共同利益的人工智能运动的人或许在并不理解吴恩达博士的确实立场前，就因为他对火星人口过多的发言而错误地认为他不在乎人工智能的安全。然而事实上，他对人工智能安全具有一定的关心。他的发言的关键是因为吴恩达对时间线的估计更长，因此他自然地倾向于优先考虑短期内AI所能带来的挑战，多于考虑长期中可出现的挑战。