360AI安全风险白皮书：人工智能图片识别易被降维攻击

作为人工智能技术的重要分支，图像识别技术在众多领域一直受到广泛关注，然而不为人知是这项技术背后其实隐藏着一定的安全风险。日前，360安全研究院发布《AI安全风险白皮书》，白皮书中指便出360安全团队发现在图像识别深度学习的数据处理流程中存在安全风险。攻击者在不利用平台软件实现漏洞或机器学习模型弱点的情况下，只利用深度学习数据流中的处理问题，就可以实现逃逸或数据污染攻击。

相信许多人都听说过，人工智能深度学习系统的核心是神经元网络。通常情况下，图像识别深度学习使用的静态神经元网络会假定自己的输入是一个固定的维度。但是，实际情况却是：实际的输入并不一定与神经元网络模型输入具有相同的维度。

图1：通常情况下，原始图片会经过维度调整，深度学习系统才能识别其信息

要解决这一问题的方法有两种，一种是对输入的维度进行强行限制，另外一种方法是对输入进行维度调整。比如在图像识别应用中，深度学习系统会将大的输入图片进行维度缩减，小的图片进行维度放大，采用的算法包括最近点抽取和双线性插值等。这种处理的目的就是对图片降维的同时尽量保持图片原有的样子，以确保深度学习系统做出正确的判断。

但是，上述的情况非常理想化。在实际中，这些常用的降维算法并没有考虑恶意构造的输入。也就是说：攻击者可以事先对输入进行特殊构造处理。经过处理后，降维函数会输出异常的结果。

下面这组图片就是攻击者针对最常用的双线性插值构造的恶意攻击样本，虽然原始输入是一张羊群的图片，但是经过降维处理后，图像识别系统会将其误判为一只雪地里的白狼；虽然原始输入是一只卡通小羊，但图像识别系统会将其误判为一只可爱的小猫。

图2：降维处理后，图像识别系统可能输出谬误严重的结果

再比如下面这组实例，一些对于人来说很清楚的数字，深度学习系统却会误判。下面显示了了四组图片，每一组中，左边是对应用的输入，也就是人看到的图片；右边是人看不到，但是被机器学习模型最后处理的图片。

图3：降维算法可能让深度学习系统出现严重误判

根据360安全研究人员的分析：几乎所有网上流行的深度学习图片识别程序都有被降维攻击的风险，解决方法包括对人工过滤异常图片、人工对比识别结果，以及采用更为健壮的降维算法等。对此，白皮书特别强调：人工智能安全问题不容忽视，360安全研究院希望公众在拥抱人工智能热潮的同时，也能 持续关注深度学习系统中的安全问题。