成果分享｜Anti-FakeU: 图神经网络推荐模型托攻击防御算法

在2023年5月举办的Proceedings of the ACM Web Conference 2023 (WWW 2023)中，我实验室白泽智能团队率先提出了图神经网络推荐模型托攻击防御算法（Anti-FakeU: Defending Shilling Attacks on Graph Neural Network based Recommender Model），该工作对图神经网络推荐系统的脆弱性进行了系统性的分析，并提出了相应的托攻击防御算法，可以平均90%的检测成功率检测托攻击并100%修复推荐模型同时维持推荐精确度在高水平。

图神经网络（Graph Neural Networks, 简称GNN）近年来被应用在多种任务中，比如医药领域中的蛋白质生成、多媒体领域的图像检索等等。特别地，在推荐任务（Recommender system，简称RS）中，因用户-物品交互数据可以很好地被建模成一个二部图，图神经网络被应用在推荐上并取得了目前基于深度学习的推荐系统中最优的推荐效果。因此图神经网络推荐系统（以下简称为GNN-RS）获得了学术和工业界广泛的关注，比如Pinterest公司推出的工业级别推荐系统PinSage，以及阿里推出的AliGraph等等。然而已有相关工作通过经验性的实验发现GNN-RS在实现最优推荐效果的同时其受托攻击的影响更大（攻击示例如图（1）所示）。鉴于GNN-RS在推荐任务中的重要地位，本篇文章旨在维持GNN-RS推荐效果的同时增强其对于托攻击的鲁棒性。

图（1）不同推荐系统受托攻击的影响（图中托攻击者旨在控制推荐系统将目标物品推荐给更多的正常用户），图中LightGCN为经典的GNN-RS。

托攻击（Shilling Attacks）是攻击者向推荐系统插入伪装成正常用户的恶意用户个人资料，从而控制目标推荐系统的，面向的一种投毒攻击（托攻击示意图如图（2）所示），比如GNN-RS将攻击者设定的非法图片广泛地推荐给正常用户，会对推荐系统和用户都造成不良的影响；再比如某公司的竞争对手通过托攻击的手段使得该公司的商品不被推荐系统推荐给正常用户，达到恶意竞争的目的。

图（2）托攻击示意图

然而，GNN-RS对于托攻击的脆弱性目前还没有系统性的研究，导致难以提出相应的防御方法来保护GNN-RS。为了解决这些问题，文章首先基于影响函数（Influence function）对不同的推荐模型对于托攻击的脆弱性进行了定性和定量分析，并对其脆弱性进行了归因。简单而言，有以下两点发现：（i）托攻击对于GNN-RS的推荐结果的影响是其他推荐模型的常数倍；（ii）托攻击能给GNN-RS带来更大影响的原因为——图神经网络基于图拓扑结构的信息聚合机制使得恶意用户的影响力沿图结构扩散。

基于脆弱性归因的结论，为了防御托攻击，就需要阻止GNN-RS的信息聚合过程中训练集中未知的恶意用户影响力的传播，由此文章设计了基于用户行为的托攻击检测技术和反恶意用户的鲁棒性聚合方法，通过检测恶意用户和阻断恶意用户影响力传播的方法来实现防御。首先，由于恶意用户在推荐系统中的行为存在高度的一致性，比如其目标都是降低推荐系统的推荐性能，可以通过训练检测器来学习恶意用户的行为模式从而实现对未知的恶意用户的识别。文章提出了基于数据增强和嵌入式用户画像训练的检测器，对推荐数据中的所有用户进行是否可能是恶意用户进行标记。其次，文章中提出使用恶意用户检测器的标记结果指导该用户参与GNN-RS信息聚合机制的权重。详细而言，如果检测器认为当前的用户是托攻击产生的恶意用户，那么该用户在图神经网络推荐模型学习过程中的权重会被设置得很低（接近于0）；反之，则将该用户的权重设置为1。由此，托攻击的影响可以在图神经网络的传播和训练过程中被抹除，从而最终达到检测托攻击插入的恶意用户和增强GNN-RS鲁棒性的效果。

文章在两个真实推荐数据集上对比了以上模型——“Anti-FakeU”，和其他GNN-RS以及不同防御算法的托攻击效果。Anti-FakeU方法能100%抹除托攻击对于GNN-RS的影响，并保证图神经网络推荐系统的正常推荐不受影响（如图（3））。另外，文章还与现有的恶意用户检测算法进行了比较，在五种具有代表性的攻击上可以90%+的精确度检测数据集中托攻击插入的恶意用户（如图（4））。

图（3）托攻击检测精确度

图（4）在托攻击影响下的推荐系统行为

团队简介

白泽智能团队负责人为张谧教授，隶属于杨珉教授领衔的复旦大学系统软件与安全实验室的白泽智能团队。该团队主要研究方向为AI系统安全，包括AI供应链安全、数据隐私与模型保护、模型测试与优化、AI赋能安全等研究方向，在S&P、USENIX Security、CCS、TPAMI、ICML、NeurIPS、KDD等网络安全和AI领域国际顶会顶刊已发表论文30余篇。

张谧教授个人主页：https://mi-zhang-fdu.github.io/index.chn.html

白泽智能团队（Whizard AI）：https://whitzard-ai.github.io/

供稿：游小钰

审核：高泽晨、潘旭东、洪赓

排版：边顾

戳“阅读原文”即可查看论文原文哦~

复旦白泽战队

一个有情怀的安全团队