机器学习模型漏洞的发现与防御技术

寻找并预防机器学习模型中的漏洞

如何确保大脑能识别停车标志就是停车标志？计算机视觉架构师试图为许多物体解答这个问题，从野外鸟类到通心粉菜肴。这个问题很复杂，因为必须教会机器许多对人类来说是第二本能的感官处理方面。我们仍然可以识别被涂鸦或贴有贴纸的停车标志。如何教会计算机做同样的事情？随着技术成为日常生活中众多功能的核心，这个问题已不仅仅是效用或便利的问题，它也是一个关键的安全问题——适用于从图像到音频到文本的多种数据输入形式。

伊利诺伊大学厄巴纳-香槟分校计算机科学助理教授李博的研究既突出了漏洞，也提供了解决方案。2017年，李博和同事们表明，即使是普通路标的轻微改动，通常也足以扰乱负责识别它们的神经网络——这是自动驾驶汽车系统的一个障碍。该研究提出了一种旨在发现此类漏洞的通用算法。

李博所在的"安全学习实验室"的持续工作目标是"使机器学习算法更加鲁棒、私密、高效和可解释"，这项工作得到了2020年某机构研究奖的支持。2019年，李博获得的另一项某机构研究奖为她今天评估机器学习算法鲁棒性的工作奠定了基础，特别是在隐私方面。

"这些类型的攻击非常隐蔽，"李博谈到那些可能扰乱算法的输入细微改动时说，"一个人坐在电脑前试图分辨哪张图像受到攻击，哪张没有，是做不到的。你只能训练一个模型来做这件事。"

迄今为止，2020年某机构研究奖的资助已促成了李博及其同事的四篇出版物。其中一篇被五月举行的IEEE安全与隐私研讨会接受，重点关注图结构数据。李博和合著者指出了图结构数据（许多服务的基础，包括社交网络）存在的"边隐私"问题。

论文《LinkTeller：通过影响力分析从图神经网络中恢复私有边》提出了一个场景，即经过图数据训练的服务API可能被用来访问本应保持私密的信息。

其他论文则侧重于防御和保护。其中一篇在2021年神经信息处理系统会议上发表，解决了训练一个可生成可用隐私数据的可扩展机器学习算法的挑战。

"这个问题很重要。但到目前为止，还没有好方法能为高维数据实现这一点，"李博说。高维数据具有大量特征和较少的观察样本：常见的例子包括基因组学和健康记录，其中每个人可能与大量属性相关联。

李博说，神经信息处理系统会议论文提出了一种算法，可以生成可扩展的、高维的、差分隐私的数据——这意味着无法推断（从而暴露）用于生成结果的敏感信息。该策略涉及通过一组"教师判别器"来掩盖私有数据，而不是为学生算法依赖一个训练示例。

被2021年ACM计算机与通信安全会议接受的论文《TSS：用于鲁棒性认证的变换特定平滑》提供了一种方法，通过标记数据的可解析干扰或变换，来认证机器学习模型抵御任意攻击的鲁棒性。在停车标志的例子中，其理念是认证即使标志图像发生一些意外变化，算法仍能以很高的置信度识别它。

在上海交通大学攻读计算机科学本科时，李博专注于纯系统安全，如密码学。但当她于2011年在加州大学伯克利分校开始攻读博士和博士后时，对人工智能的兴趣日益增长，她被相关问题所吸引。

李博说，她认识到人工智能和私有数据周围存在一些潜在的漏洞。她开始通过进行实验性攻击来探索这些问题，比如2017年涉及自动驾驶汽车和路标的攻击，并进行理论分析以揭示人工智能可信度的基本原理。

"你可以看到很多关于我这些攻击工作的新闻报道。不知何故，人们对攻击更感兴趣，"她笑着说。但她很快也开始在预防方面做更多工作，研究保护和认证系统的方法。

早期的研究产生了诸如"用于强化学习的认证鲁棒策略"（同样由2020年某机构研究奖资助）等项目，该系统根据认证标准系统地评估不同的强化学习算法；还有"对抗性通用语言理解评估"，这是一个测试和分析自然语言理解系统漏洞的基准测试系统。"认证鲁棒策略"最近被接受参加2022年4月举行的国际学习表征会议。

李博认为这些研究和开源工作不仅对在特定情况下维护安全很重要，而且对领域泛化这一更广泛的挑战也很重要：即算法足够灵活和强大，能够适应不同的设置和用途。例如，在市区训练过的自动驾驶汽车，当到达一个它从未见过的农村地区时，会知道该怎么做吗？

"领域泛化是机器学习中一个永恒的话题，"李博说，"我们正试图从鲁棒性的角度来解决这个问题。"

除了某机构研究奖的资金和计算资源外，李博还受益于与某机构研究人员讨论现实世界的问题。她实验室的方法论可以应用于视觉、文本、音频和视频。她旨在产生影响，无论是与某云服务工具的整合，还是对其他研究人员的启发。

"我们希望研究人员能在不同领域尝试我们的方法，"她说。