未来的伙伴？我们的安全？

为什么要研究人工智能安全？

在短期内，保持人工智能对社会有益的影响的目标激发了从经济学和法律到诸如验证、有效性、安全和控制等技术主题的许多领域的研究。如果你的笔记本电脑发生故障或被黑客入侵，那可能只是一个小麻烦，但如果人工智能系统控制你的汽车、你的飞机、你的起搏器、你的自动交易系统或者你的电网，那么它做你想做的事就变得更加重要了。另一个短期挑战是防止致命的自主武器的毁灭性军备竞赛。

从长远来看，一个重要的问题是，如果对强人工智能的追求成功，并且人工智能系统在所有认知任务上都变得比人类好，将会发生什么。正如I.J. Good在1965指出的那样，设计更智能的人工智能系统本身就是一项认知任务。这种系统可能会经历递归的自我改进，引发智力爆炸，使人类智力远远落后。通过发明革命性的新技术，这样的超级情报可能帮助我们根除战争、疾病和贫穷，因此建立强大的人工智能可能是人类历史上最大的事件。把AI的目标与我们的目标对准，然后变成超智能。

有些人质疑是否会实现强大的人工智能，另一些人则坚持认为创造超智能人工智能肯定是有益的。在FLI，我们认识到这两种可能性，但也认识到人工智能系统有意或无意地造成巨大损害的潜力。我们相信，今天的研究将帮助我们更好地准备和预防这种潜在的负面后果，从而在避免陷阱的同时享受人工智能的好处。

人工智能是如何危险的？

大多数研究人员都认为，一个智能AI是不可能表现出像爱或恨的人类的情感，那就没有理由认为AI成为有意的善或恶的。 相反，当考虑到AI可能 成为风险，专家认为，最有可能的两个场景：

1。AI程序做一些破坏性的： 自主武器的人工智能系统，来杀。在错误的人手中，这些武器很容易造成大规模伤亡。此外，AI军备竞赛可能会导致AI战争，也会导致大规模伤亡。为了避免被敌人的阻挠，这些武器将 设计 是极难简单 ”关闭，“因此人类可能 失去这样的情况控制。这种风险是存在的，即使是狭窄的人工智能，但随着人工智能和自主性水平的提高而增加。

2。AI程序做一些有益的，但它的发展一个破坏性的方法实现其目标： 这可能发生，每当我们未能充分调整AI的目标与我们的，这是非常困难的。如果你问一个听话的智能车送你去机场尽可能快，也可能 让你有被直升机追逐着呕吐，做 不是你想要的但随便你问什么。如果一个智能系统的任务是一个雄心勃勃的工程项目，它可能 破坏我们的 生态系统作为一个副作用，并认为人类试图要遇到威胁阻止它。

这些例子表明，先进的AI不是恶意但能力的关注。 超级智能的人工智能将是非常好的在完成自己的目标，如果这些目标不一致的与我们，我们 有问题。你可能不是一个邪恶的人谁踩蚂蚁蚂蚁出于恶意，但如果你在一个水电绿色能源项目主管，有一个家在该地区被淹没，因为蚂蚁太坏。人工智能安全研究的一个关键目标是永远不要把人类置于那些蚂蚁的位置上。

人工智能生活馆，正在带领人工智能走向全新的一个台阶！智能家居，智能教育机器人，智能儿童玩具，智能潮品........