新的人工智能模型可以帮助防止破坏性和代价高昂的数据泄露

帝国隐私专家创建了一种人工智能算法，可以自动测试隐私保护系统是否存在潜在的数据泄露。这是第一次使用人工智能自动发现此类系统中的漏洞，谷歌地图和Facebook都使用了这些漏洞的例子。

来自帝国计算隐私小组的专家研究了对基于查询的系统(QBS)的攻击——分析师可以通过这些控制界面查询数据以提取有关世界的有用汇总信息。然后，他们开发了一种新的人工智能方法，称为QuerySnout来检测对QBS的攻击。

QBS使分析师可以访问从个人级别数据(如位置和人口统计数据)收集的统计数据集合。它们目前在谷歌地图中用于显示某个区域的繁忙程度的实时信息，或者在Facebook的受众测量功能中用于估计特定位置或人口统计的受众规模，以帮助进行广告促销。

在作为第29届ACM计算机和通信安全会议的一部分发表的新研究中，包括数据科学研究所的AnaMariaCretu、FlorimondHoussiau博士、AntoineCully博士和Yves-AlexandredeMontjoye博士在内的团队发现，强大的只需按一下按钮，即可轻松自动检测到针对QBS的准确攻击。

根据资深作者Yves-AlexandredeMontjoye博士的说法：“迄今为止，攻击都是使用高技能的专业知识手动开发的。这意味着要花很长时间才能发现漏洞，从而使系统处于危险之中。

“QuerySnout在发现现实世界系统中的漏洞方面已经超越了人类。”

对基于查询的系统的需求

我们收集和存储数据的能力在过去十年中呈爆炸式增长。尽管这些数据有助于推动科学进步，但其中大部分是个人数据，因此其使用会引发严重的隐私问题，并受到《通用数据保护条例》等法律的保护。

因此，在保护我们基本的隐私权的同时，使数据能够被永久使用，对于数据科学家和隐私专家来说是一个及时且至关重要的问题。

QBS有可能实现大规模的隐私保护匿名数据分析。在QBS中，策展人控制数据，因此可以检查和检查分析师发送的查询，以确保返回的答案不会泄露有关个人的私人信息。

但是，非法攻击者可以通过设计查询来绕过此类系统，从而通过利用系统的漏洞或实现错误来推断有关特定人员的个人信息。

测试系统

攻击者利用系统中的漏洞进行未知强“零日”攻击的风险阻碍了QBS的开发和部署。

为了测试这些系统的稳健性，以类似于网络安全渗透测试的方式，可以模拟数据泄露攻击以检测信息泄漏并识别潜在漏洞。

然而，针对复杂的QBS手动设计和实施这些攻击是一个困难而漫长的过程。

因此，研究人员说，限制强大的未缓解攻击的可能性对于使QBS能够有效和安全地实施，同时保护个人隐私权至关重要。

查询鼻子

Imperial团队开发了一种新的人工智能方法，称为QuerySnout，它通过学习向系统询问哪些问题来获得答案。然后它学会自动组合答案以检测潜在的隐私漏洞。

通过使用机器学习，该模型可以创建由一组查询组成的攻击，这些查询组合了答案，以揭示特定的私人信息。这个过程是完全自动化的，并使用一种称为“进化搜索”的技术，使QuerySnout模型能够发现要问的正确问题集。

这发生在“黑盒设置”中，这意味着AI只需要访问系统，而不需要知道系统如何工作即可检测漏洞。

共同第一作者Ana-MariaCretu说：“我们证明QuerySnout发现的攻击比目前在现实世界系统上已知的攻击更强大。这意味着我们的AI模型在发现这些攻击方面比人类更好。”

下一步

目前，QuerySnout只测试少数功能。根据deMontjoye博士的说法，“前进的主要挑战是将搜索扩展到更多的功能，以确保它能够发现最先进的攻击。”

尽管如此，该模型可以使分析师能够测试QBS针对不同类型攻击者的稳健性。QuerySnout的开发代表了在保护与基于查询的系统相关的个人隐私方面向前迈出的关键一步。