原文标题：Cross-Context Backdoor Attacks against Graph Prompt Learning
原文作者：吕晓婷；韩宇飞；王伟；钱航薇；Ivor Tsang；张响亮
发表会议：SIGKDD 2024
主题类型：图提示学习中跨上下文后门攻击

本次分享的论文“Cross-Context Backdoor Attacks against Graph Prompt Learning”，由北京交通大学作为第一单位，Inria、A*star、圣母大学为合作单位共同完成。该研究深入探讨了跨上下文场景中图提示学习（Graph Prompt Learning）面临的后门威胁。

1. 研究背景

在图学习领域，将预训练的图神经网络（GNNs）应用于与预训练阶段差异较大的下游任务时，面临着泛化能力和知识迁移的挑战。图提示学习（GPL）作为一种解决方案，通过在未标注数据上训练GNN编码器，并针对下游任务定制提示，有效弥合了预训练与下游任务之间的差异，促进了知识的迁移。然而，这种方法也带来了后门攻击的风险，攻击者可能在预训练模型中植入后门，影响下游模型的完整性。尽管在自然语言处理应用中已识别出类似的后门漏洞，但将其适应到图学习中仍面临数据结构和学习范式差异的挑战。针对跨上下文GPL系统的后门攻击研究仍是一个未被充分探索的领域。因此，论文作者针对跨上下文GPL系统的后门攻击进行研究。

2. 研究方法

论文研究了在多种跨上下文场景下对不同图提示学习方法进行可转移后门攻击的可行性。基于先前的研究，将跨上下文学习分为五种场景：跨任务（cross-task）、跨领域（cross-domain）、跨数据集(cross-dataset)、跨类别(cross-class)和跨分布(cross-distribution)。针对这些场景，文中全面评估了GPL固有的后门威胁。

在上述跨上下文GPL场景中实施此类攻击与传统图后门攻击相比，面临着独特的挑战。首先，跨上下文GPL场景中的攻击者仅能访问和控制预训练期间收集的未标记图数据。他们对模型可能部署的下游应用缺乏了解，使得传统的后门攻击不可行。其次，预训练与下游应用之间在语义空间、结构模式和学习目标上的差异挑战了机器学习模型基于独立同分布（IID）假设的基础，阻碍了预训练模型中嵌入的后门效应的泛化。第三，成功的后门攻击应确保受后门影响的模型在下游应用中对正常输入保持功能。此外，攻击应保持其有效性，即使下游用户部署了防御措施。为此，论文提出了CrossBA，这是针对GPL的第一个跨上下文后门攻击方法，它从以下角度解决了上述挑战。攻击流程如下图一所示。

CrossBA在预训练阶段将后门攻击形式化为特征碰撞导向的优化问题。CrossBA旨在同时将后门图与触发图的嵌入关联起来，并确保这些嵌入与干净图的嵌入不同。这样，任何后门图都将被映射到目标嵌入，导致下游应用将其错误分类为目标类别。为了提高攻击的隐蔽性， CrossBA优化触发图以使后门任务与主任务的损失对齐，同时最大化后门与无后门GNN编码器在相同干净输入图上的嵌入相似度，从而最小化下游应用中的效用损失。此外， CrossBA限制触发图的节点特征与正常节点的特征紧密相似，有助于规避下游用户可能部署的潜在防御措施。

具体优化目标如下所示：

论文通过理论分析揭示了GPL系统对预训练GNN模型中嵌入的后门效应的内在脆弱性。虽然提示学习促进了知识向下游应用的转移，但它无意中放大了后门的可转移性。此外，理论分析和实证观察均表明，优化触发图以使后门任务和主任务的损失对齐，可以进一步增强跨上下文GPL场景中后门的可转移性。

3. 实验效果

论文针对三种代表性的图提示学习方法，使用了五个真实世界的图和节点分类任务对CrossBA进行了评估。评估覆盖了五种不同的跨上下文图学习场景。CrossBA在所有五种跨上下文场景中的各种下游应用中，始终实现了超过0.85的攻击成功率，同时保持了高实用性。例如，表1表明CrossBA在跨分布的情况下，针对所有测试情况可以获得大于90%的攻击成功率。

论文主要贡献：

• 创新性的研究：论文首次对跨上下文场景下的图提示学习（GPL）后门攻击脆弱性进行了深入的分析与总结。这一研究填补了GPL系统安全性理解方面的空白，特别是在后门攻击的背景下。
• 跨上下文的后门攻击方法：提出了一种新颖的跨上下文可迁移后门攻击方法CrossBA。该方法通过精心设计的触发图优化策略，使得后门任务与主任务的损失对齐，从而增强了后门在GPL系统中的可转移性。这种攻击策略在保证攻击成功率的同时，也提高了攻击的隐蔽性。
• GPL系统后门的脆弱性分析：论文深入分析了GPL系统对预训练图神经网络模型中后门效应的内生脆弱性。研究表明，虽然提示学习机制有助于知识向下游任务的迁移，但它也无意中增强了后门攻击的迁移能力。

作者与团队

论文第一作者为北京交通大学信息安全团队的博士生吕晓婷，通讯作者为团队王伟教授，主要作者还包括韩宇飞、钱航薇、Ivor Tsang和张响亮教授等。北京交通大学信息安全团队建有“区块链研究中心”和“智能交通数据安全与隐私保护技术北京市重点实验室”等平台。团队主持了数据安全相关的国家自然科学基金联合基金重点项目、国家重点研发计划项目和课题等多个重大重点项目。其中由王伟教授主持的“基于区块链的Web3.0前沿技术”是首个Web3.0共性关键技术类国家重点研发计划项目。王伟教授还主持了数据安全相关的国家自然科学基金联合基金重点项目。团队联合编制相关的国际、国家和行业标准23项。团队王伟教授连续入选网络空间安全领域“中国高被引学者”。近年来团队以一作和通信作者单位在 USENIX Security，CCS，KDD 等重要会议和期刊上发表论文100余篇，团队以第一作者和第一单位获 CCS 2023 杰出论文奖，团队作为第一完成人获中国自动化学会科技进步一等奖1项。研发了强隐私保护的数据聚合平台、商品溯源平台和银行业务系统。研究成果在京东达达和中国铁道科学研究院等大型公司及金融和政府行业得到了应用。目前团队正在与优势单位合作，开展数据要素高效安全流通等方面的研究工作。