学者创建新的人工智能模型，可以防止数据泄露

隐私专家创建了一种AI算法，可以自动测试隐私保护系统是否存在潜在的数据泄露。这是人工智能首次被用于自动发现这类系统中的漏洞，需要特别注意的是，在谷歌地图和Facebook都发现了这些漏洞。

来自帝国计算隐私集团（Imperial’s Computational Privacy Group）的专家们研究了对基于查询的系统（QBS）的攻击。QBS是一种受控制的接口，分析师可以通过该接口查询数据，以提取关于世界的有用聚合信息。然后，他们开发了一种新的AI支持的方法，名为QuerySnout，用于检测对QBS的攻击。

QBS使分析师能够访问从个人层面数据（如位置和人口统计数据）收集的统计数据。它们目前在谷歌地图中用于显示一个地区有多繁忙的实时信息，或者在Facebook的受众测量功能中用于估计特定位置或人口的受众规模，以帮助广告促销。

在作为第29届ACM计算机与通信安全会议的一部分发表的新研究中，包括数据科学研究所的Ana Maria Cretu、Florimond Houssiau博士、Antoine Cully博士和Yves Alexandre de Montjoye博士在内的团队发现，只要按下一个按钮，就可以很容易地自动检测到针对QBS的强大而准确的攻击。

根据资深作者伊夫·亚历山大·德·蒙乔伊博士的说法：“迄今为止，攻击都是使用高技能的专业知识手动开发的。这意味着漏洞需要很长时间才能被发现，这会使系统面临风险。

在发现真实世界系统中的漏洞方面，OuerySnout已经超过了人类。”

在过去十年中，我们收集和存储数据的能力呈爆炸式增长。尽管这些数据有助于推动科学进步，但大部分数据都是个人数据，因此其使用引发了严重的隐私问题，受到了欧盟《通用数据保护条例》等法律的保护。

因此，对于数据科学家和隐私专家来说，在保护我们的基本隐私权的同时，使数据能够永久使用是一个及时而关键的问题。

QBS有可能实现大规模的隐私保护匿名数据分析。在QBS中，策展人可以控制数据，因此可以检查和检查分析师发送的查询，以确保返回的答案不会泄露个人的隐私信息。

然而，非法攻击者可以通过设计查询来绕过此类系统，通过利用系统的漏洞或实现漏洞来推断特定人员的个人信息。

攻击者利用系统中的漏洞进行未知的强“零日”攻击的风险阻碍了QBS的开发和部署。为了测试这些系统的稳健性，与网络安全渗透测试类似，可以模拟数据泄露攻击，以检测信息泄漏并识别潜在漏洞。

然而，针对复杂QBS手动设计和实施这些攻击是一个困难而漫长的过程。因此，研究人员表示，限制强烈的未缓解攻击的可能性对于使QBS能够有效和安全地实施，同时保护个人隐私权至关重要。

帝国团队开发了一种新的人工智能支持方法，名为QuerySnout，该方法通过学习向系统询问哪些问题来获得答案。然后，它学会自动组合答案，以检测潜在的隐私漏洞。

通过使用机器学习，该模型可以创建由一组查询组成的攻击，这些查询组合了答案，以揭示特定的私人信息。这个过程是完全自动化的，并使用了一种称为“进化搜索”的技术，这使得QuerySnout模型能够发现正确的问题集。

这发生在“黑匣子设置”中，这意味着人工智能只需要访问系统，但不需要知道系统如何工作以检测漏洞。

联合第一作者Ana Maria Cretu表示：“我们证明QuerySnout发现的攻击比目前已知的真实世界系统中的攻击更强大。这意味着我们的AI模型在发现这些攻击方面优于人类。”

目前，QuerySnout只测试少量功能。根据德蒙乔伊博士的说法：“未来的主要挑战将是将搜索扩展到更多的功能，以确保发现最先进的攻击。”

尽管如此，该模型可以让分析师测试QBS对不同类型攻击者的鲁棒性。QuerySnout的开发代表了在保护与基于查询的系统相关的个人隐私方面向前迈出的关键一步。