大家好，今天给大家推荐的是来自德国亥姆霍兹信息安全中心(CISPA)张阳研究组的关于机器学习模型架构Multi-Exit Network隐私泄漏的文章—Auditing Membership Leakages of Multi-Exit Networks。该工作已被CCS 2022录用。

背景介绍

机器学习技术已成为图像分类和人脸识别等关键应用的基础，为获得更好的性能，研究人员提出了越来越复杂的模型。但并非所有的输入都需要相同的计算量来产生可靠的预测，多出口架构Multi-Exit Network因具备高效推理和资源节约等优势，而受到更为广泛的关注。

如下图所示，Multi-Exit Network由一个Backbone模型(即常见的普通模型，如VGG和ResNet)和在不同位置添加的出口(即轻量级分类器，称为Exit Point)组成。其中，Backbone模型用于特征提取，Exit Point则预测数据样本并提前结束后续推理过程，进而降低计算时间和节省资源消耗。

研究动机

尽管Multi-Exit Netwrok具有“节能高效”特征，但该模型的架构过程依旧需要大规模的数据。在许多情况下，这些数据可能会包含敏感的个人隐私信息，比如购物偏好、社交关系和健康状况等，并且近年来各类研究已表明，以图像分类器为代表的传统机器学习模型存在不可忽视的隐私泄漏风险。然而，目前针对Multi-Exit Network的研究仅考虑了如何促使模型达到资源使用效率和模型性能之间的最佳平衡状态，而未涉足于Multi-Exit Network之中的隐私泄漏风险。

为此，我们迈出了研究Multi-Exit Network隐私泄漏风险的第一步，具体而言是基于成员推理视角探究该模型存在的隐私泄漏风险。成员推理攻击(Membership Inference Attack)是机器学习隐私领域的一个重要攻击，用以推断目标模型的训练数据集当中是否存在给定数据样本。本文首先利用现有的成员推理攻击技术评估Multi-Exit Network隐私泄漏程度，进而基于该架构特有的Exit Point信息，提出了一种更为强大的成员推理攻击技术。

成员信息泄漏风险

在本节中，我们利用现有的成员推理攻击方法(Gradient-based、Score-based和Label-only)来评估Multi-Exit Network隐私泄漏风险。

下图(Figure 3)中报告了在不同数据集和模型架构上的Attack Success Rate (ASR)。可以观察到，Multi-Exit Network比普通(Vanilla)模型具有更低的ASR，这清楚地表明Multi-Exit Network比普通模型更难以受到成员推理攻击。

Exit Point数量的影响

接下来我们进一步分析Mutli-Exit Network的Exit Point数量对成员信息泄露风险的影响。需要重点强调的是，本文采用Jensen-Shannon(JS) Divergence来度量成员与非成员的损失分布之间的距离，即衡量模型的过拟合水平，JS Divergence随着Multi-Exit Network中Exit Point数量变化趋势于下图(Figure 7)中展示。我们发现了一个有趣的现象，即拥有更多Exit Point的Multi-Exit Network会具有更低的JS Divergence。这与Multi-Exit Network难以被成员推理攻击的结论相一致，表明成员信息泄漏风险与Exit Point数量呈负相关关系。究其原因是由于更多的Exit Point意味着更多的成员样本会较早脱离模型，从而导致模型不会过拟合这些成员样本。

Exit Point位置的影响

此外，我们还探究了Mutli-Exit Network的Exit Point位置对成员信息泄露风险的影响。设置一个有6个Exit Point的Multi-Exit Network，使用Exit Index(即从0到5)来表示Exit Point的位置，并分别计算每个Exit Point成员和非成员的损失分布之间的JS Divergence。如上图(Figure 8)所示，JS Divergence随着Exit Point位置的靠后而增加，表明成员信息泄漏风险与Exit Point位置呈正相关，即样本离开Exit Point的位置靠后时更容易被区分成员和非成员。导致这一现象的原因是，离开Exit Point的位置更靠后意味着成员样本经过的模型更为复杂，而该复杂模型更有可能过拟合成员样本。

Hybrid Attack

根据Multi-Exit Network的成员信息泄露风险评估，在发现Multi-Exit Network不易被成员推理攻击之外，本文得到了一个更为有趣的结论，即Exit Point的信息(数量和位置)与攻击性能高度相关。这引发了我们新的思考：Multi-Exit Network的Exit Point信息(数量和位置)是否会泄露更多关于训练集的成员信息？在回答这一研究问题之前，需要解决以下两点:

1. 如何获取Multi-Exit Network的Exit Point信息，特别是在黑盒场景。

2. 如何利用Exit Point信息来提升现有成员推理攻击的效果。

为此，本文提出了一种新的成员推理攻击，称为混合攻击Hybrid Attack，即攻击者首先窃取Exit Point信息，然后利用Exit Point信息作为新知识来发起攻击。需要说明的是，在此仅考虑黑盒场景下的Score-based攻击和Label-only攻击。

攻击方法

已知的是，Multi-Exit Network的目标是通过允许数据样本在浅层输出预测结果来实现高效推理和节省计算资源，因此数据样本的推理时间不可避免地随着Exit Point位置变动而发生变化，即数据样本离开Exit Point的位置更靠后意味着需要的推理时间更长，如Figure 12(a)所示。这提供了一个确定Exit Point信息的新视角，即推理时间的长短实际上代表了不同的Exit Point位置。

首先，攻击者使用大量数据样本查询被攻击的Multi-Exit Network，并记录这些样本的推理时间，然后攻击者将所有记录的推理时间按照从小到大排序为一维数组。按照Exit Point位置越靠后推理时间越长的规律，攻击者可以将这个一维数组划分为不同的簇。基于核密度估计Kernel Density Estimation(KDE，一个用于聚类一维数据的无监督统计方法)，用一条平滑的线来拟合这样的一维数组，并使用平滑线的几个最小值来将它们划分为不同的簇，如Figure 12(b)所示。在这里，簇的数量表示附加到目标模型的Exit Point数量，每个簇的索引表示Exit Point位置。

之后，根据不同的攻击提出有针对性利用Exit Point信息的方法。

1. Score-based攻击。在使用MLP作为攻击模型的Score-based攻击中，给定Exit Point信息(数量和位置)，攻击者首先将其转换为one-hot vector，然后将该one-hot vector和其他现有信息(如confidence score)一起输入至MLP攻击模型。

2. Label-only攻击。在原始的Label-only攻击中，攻击者首先在输入样本上添加扰动来改变其预测结果，之后攻击者会测量扰动的大小，并将扰动大于预定义阈值的数据样本视为成员样本。在Hybrid Attack中，攻击者不是直接对所有数据样本执行上述操作，而是首先根据Exit Point位置划分数据样本为不同的簇，然后针对每簇数据样本执行上述操作来区分。

除此之外，所有其他攻击步骤与现有攻击中使用的步骤相同。

实验结果

关于Exit Point位置的预测准确率在Tabel 1中展示。可以看到本文提出的基于推理时间的Exit Point预测方法可以达到接近100%的准确率，这表明推理时间的大小的确可以反映Exit Point位置，即推理时间越长，Exit Point的位置越靠后，反之亦然。因此，在下图(Figure 13)中可以观察到Hybird Attack的攻击效果显著超过现有攻击(紫色条>绿色条)，这些结果清楚地表明，Exit Point信息确实会泄漏更多关于训练集的成员信息。

除此之外，本文进一步评估了Hybrid Attack在更加复杂场景下的表现，分别研究了推理时间存在波动、攻击者无法构建和目标模型具有相同架构的本地模型对Hybrid Attack的影响。此外，我们还提出了一个既简单又有效的防御机制，称为TimeGuard，其可以在不明显影响模型推理效率的情况下，能够显著降低由Exit Point信息导致的成员信息泄漏。详细内容请查看文章正文。

结论

本文首次从成员推理视角对Multi-Exit Network的隐私泄漏风险进行了评估，大量的实验表明，Multi-Exit Nerwork与传统的普通模型相比更难以受到成员推理攻击的影响。同时，我们发现成员推理攻击的表现和Exit Point信息(数量和位置)高度相关，并基于此进一步地提出了Hybrid Attack，通过使用Exit Point信息作为新的知识来提高现有成员推理攻击的性能。在不同场景下的实验表明，Hybrid Attack的攻击效果显著优于现有攻击，这也强调出Multi-Exit Network的隐私泄漏风险比想象中更为严重。

文章链接：
https://arxiv.org/abs/2208.11180
代码链接：
https://github.com/zhenglisec/Multi-Exit-Privacy

投稿作者：
李政 德国亥姆霍兹信息安全中心(CISPA)
德国CISPA张阳研究组在读博士研究生，研究方向为机器学习的安全与隐私问题，相关研究成果已经发表于国际安全顶级会议ACM CCS 2021/2022和USENIX Security 2023上。
个人主页：https://zhenglisec.github.io/

原文始发于微信公众号（安全研究GoSSIP）：G.O.S.S.I.P 阅读推荐 2023-02-09