成果分享 | 探索图神经网络模型的“指纹”

今天分享我实验室白泽智能（Whizard AI）的最新研究 GNNFingers: A Fingerprinting Framework for Verifying Ownerships of Graph Neural Networks。该工作旨在保护图神经网络在不同应用场景下的模型知识产权，防止模型被非法复制、重新分发或滥用。目前该工作已被交叉综合领域的国际会议International World Wide Web Conferences (WWW) 2024录用。

在人工智能技术飞速发展的今天，图神经网络模型(Graph Neural Network，简称为GNN)作为一种专门处理图结构数据的神经网络架构在社交网络分析、个性化推荐以及蛋白质结构分析等图相关任务上都得到了广泛的关注和应用。鉴于GNN模型所面临的任务特异性和复杂架构要求，其有效训练不仅仰赖于高质量的数据集、精巧的训练策略，还包括充足的计算资源投入，这些因素共同赋予了训练完成的GNN模型极高的经济价值和独特知识属性，亟待纳入知识产权保护体系，以防模型遭受未经授权的复制、分销或滥用。

现有技术中，模型水印和模型指纹两种手段已成功应用于保护传统深度学习模型（例如多层感知器和卷积神经网络）的知识产权。模型水印技术通过向模型注入特别设计的标记信号——水印样本及其对应输出，从而确定模型的所有权。然而，在GNN模型的实践应用中，模型水印技术通常需要介入模型的训练流程，这可能导致嵌入水印后的GNN模型在实际任务表现上出现一定程度的精度损失，如图1结果所示。

相比之下，模型指纹方法则侧重于寻找那些能触发模型产生独特输出的样本作为“指纹”，这一过程不需要对模型参数或训练步骤做出任何改动。在图像分类等任务中，对抗样本生成技术常被用来发掘这样的指纹样本。鉴于此背景，本研究的核心目标在于探究GNN模型的独特“指纹化”可能性：能否找到一组特殊输入样本来唯一标识GNN模型的所有权，同时保证在保持模型训练过程完整性及其原有参数不变的前提下实现有效的知识产权保护？

图1  模型指纹对于GNN模型预测准确度的影响，最高达到15%

在针对GNN模型的知识产权保护研究中，面对复杂的图结构数据输入以及多样化的下游图任务，本研究提出了GNNFingers图指纹生成和所属权判定框架，旨在生成和验证与具体任务无关的GNN模型指纹，确保无论是在链路预测、节点分类、图生成等各种图任务场景下，都能有效地识别和保护模型产权。GNNFingers框架主要包括两大核心模块：

1. 任务无关的“图指纹”定义与更新策略：针对不同级别的图任务（如节点级、边级和图级任务），设计了相应的指纹模板。对于离散的图结构数据，采用一套基于离散化梯度的图结构和属性更新策略，在图结构输入空间中高效地搜索出能够代表模型独特性的指纹样本，同时保证这些样本仍保留着图数据的本质特征。

2. 任务无关的所属权判别器：运用可学习的全连接神经网络作为判别器，输入为所有图指纹样本经过模型产生的输出拼接而成的特征向量，输出为二元标签（1表示目标模型，0表示非目标模型）。判别器的训练不仅涉及传统的正负例模型，还考虑到现实中可能出现的模型混淆情况，如模型剪枝、知识蒸馏等技术对模型进行改变后的模型作为正例参与训练，进一步提升判别器的鲁棒性。

此外，本研究还基于现有的GNN模型泛化性理论分析框架，建立了GNNFingers在不同图任务场景和各类GNN模型架构下的有效性理论分析框架，以确保该框架具备广泛的适用性和理论支撑。图2展示了GNNFingers整个图指纹生成和所属权判别的流程。

图2  GNNFingers的图指纹生成和所属权判别流程

本研究通过在五个广泛使用的图任务级别上测试了超过二十种现今主流的图神经网络（GNN）模型，系统地验证了GNNFingers框架在确定GNN模型所属权方面的有效性和准确性。如表格1所示，GNNFingers相较于传统模型指纹方法，在四类图任务上的判别准确度有了显著提升；如图3所示，GNNFingers在节点分类和链路预测任务上的有效性（鲁棒性与唯一性）得到了验证。

表格1  GNNFingers与传统模型指纹方法的判别准确度比较

图3  GNNFingers在节点分类和链路预测任务上的有效性

团队简介

白泽智能负责人为张谧教授，隶属于杨珉教授领衔的复旦大学系统软件与安全实验室，该团队主要研究方向为AI系统安全，包括AI供应链安全、数据隐私与模型保护、模型测试与优化、AI赋能安全等研究方向，在S&P、USENIX Security、CCS、TPAMI、ICML、NeurIPS、KDD等网络安全和AI领域国际顶会顶刊已发表论文数十篇。

张谧教授个人主页：https://mi-zhang-fdu.github.io/index.chn.html

白泽智能（Whizard AI）：https://whitzard-ai.github.io/

供稿：游小钰

排版：高泽晨

审核：潘旭东 洪赓 张琬琪

复旦白泽战队

一个有情怀的安全团队