对抗性攻击轻松愚弄人工智能

对抗性攻击欺骗图像识别算法将3D打印乌龟认作步枪。

来源：中国科学报

摘要：在日前于瑞典斯德哥尔摩举行的国际机器学习会议上，一群研究人员描述了他们的3D打印乌龟。

在日前于瑞典斯德哥尔摩举行的国际机器学习会议上，一群研究人员描述了他们的3D打印乌龟。大多数人会说，它看上去就像一只乌龟，但人工智能（AI）算法有不同的看法。在大多数时候，AI认为这只乌龟看上去像一支步枪。类似地，它将一个3D打印的棒球视为浓缩咖啡。这是“对抗性攻击”的例子——稍作改变的图片、物体或者声音可愚弄AI。

AI领域一些引人注目的进步，尤其是在消化了训练数据集后能识别声音或物体的机器学习算法，刺激了语音助手和自动驾驶汽车的发展。但这些AI应用很容易被欺骗。

在此次会议上，对抗性攻击是一个热门主题。研究人员报告了欺骗AI以及保卫它们的各种新方法。令人担忧的是，会议的两个最佳论文奖之一给了这样的结论：其发现受到保护的AI并非像其开发者可能认为的那样安全。“我们这些机器学习领域的专家并不习惯于从安全性的角度看待问题。”共同主导上述3D打印研究的麻省理工学院（MIT）计算机科学家Anish Athalye表示。

致力于研究对抗性攻击的计算机科学家表示，他们正在提供一种服务，就像指出软件安全缺陷的黑客一样。“我们需要重新思考所有的机器学习途径，以便使其更强劲。”MIT计算机科学家Aleksander Madry认为。

研究人员表示，这些攻击在科学上也有用处，为了解被称为神经网络的AI应用提供了罕见的窗口。神经网络的内在逻辑无法得到清晰明了的解释。加州大学伯克利分校计算机科学家Dawn Song表示，对抗性攻击是强大的镜头，“透过它，我们能理解获得的机器学习知识”。

去年，Song和同事将一些贴纸放到停车标志上，从而欺骗一种常见的图像识别AI认为其是每小时不超过45英里的限速标志。这一结果令自动驾驶汽车公司不寒而栗。

研究人员正在设计更复杂的攻击。在另一场会议上，Song还将报告一种让图像识别AI不只误判物体，还对其产生幻觉的“花招”。在一项测试中，凯蒂猫隐约出现在机器的街景视图中，而路上行驶的汽车却消失了。