AI供应链安全：Hugging Face 恶意ML模型事件分析

近期由JFrog安全团队监控发现，Hugging Face平台上的某些机器学习模型可能被用于对用户环境进行攻击。这些恶意的模型在加载时会导致代码执行，给攻击者提供了在受感染机器上获得完整控制的能力，实现基于开源模型的后门植入。这些机器学习模型的潜在威胁包括直接的代码执行，这意味着恶意攻击者可以在加载或使用模型的机器上运行任意代码，可能导致数据泄露、系统损坏或其他恶意行为。随着Huggingface和Tensorflow Hub这类开源模型社区的兴起，恶意攻击者已经在研究利用此类模型部署恶意软件，促使大家在AI新时代下，需要谨慎对待不可信来源的模型，在MLOps中实施彻底的安全审查并采取相关措施。

本次报告发现在Hugging Face平台上至少有100多个恶意的AI ML模型实例，其中以baller423/goober2为代表的模型在受害者的机器上直接执行代码，并为攻击者提供持久化的后门访问权限。（下图为恶意模型中发现有效攻击载荷的分类情况）

现阶段，虽然baller423/goober2模型文件已被删除，但发现与已删除模型用户名称高度相似的star23/baller13仓库依然存在，并且star23用户下共有9个存活的模型仓库，这些恶意仓库都能被HuggingFace自带的Pickle安全扫描器标记出来。

Hugging Face Transformers是一个开源的Python库，依赖于预训练的大规模语言模型，主要用于自然语言处理（NLP）任务。该库提供了一个预训练模型集合，涵盖了各种规模和架构的模型。基于该模块的API和工具用户可以轻松下载和训练社区提供的预训练模型，进行文本分类、命名实体识别、机器翻译、文本生成等NLP任务。本次恶意ML攻击技术，正是利用Transformers库加载模型的过程来触发恶意代码执行，用户在运行下图Hugging Face官方给出的模型加载代码，即可触发攻击利用。

在使用Transformers加载PyTorch模型时，常见的方法是利用torch.load()函数实现加载，该函数会将模型pkl文件中的序列化数据完成提取，并执行反序列化操作，恶意代码正是在这个过程中完成加载执行。以还未删除的star23/baller13为例，进一步对模型文件开展分析，可以发现在data.pkl文件中包含完整的有效攻击利用代码，其中会对当前用户机器环境开展检测，并针对Linux和Windows分别实现了一套反弹Shell的代码。

使用Python的pickletools库进一步对序列化的数据进行分析，可以发现序列化数据中试图利用Python的__reduce__方法，来执行上述的恶意代码，从而实现在加载模型时导致恶意利用行为。

import tensorflow as tf
tf.keras.models.load_model("model.h5")

从上述技术分析可以看到，随着AI技术的兴起，越来越多的预训练模型需要在分发和使用之前进行序列化的操作，方便模型的存储、传输和加载。数据序列化作为一个常见的操作，包括了Json、XML、Pickle等多种格式，大多数的机器学习框架都有自己首选的序列化方法，而攻击者通过研究基于ML模型序列化操作来完成恶意代码的植入，已经成为AI模型安全侧的一种攻击趋势，随着模型分发、测试和使用，可能会出现大规模的AI业务环境受到影响，下图为模型序列化方式以及其代码执行能力情况的统计表。

针对star23用户下的9个恶意模型的代码进行分析以后，基于绿盟NTI威胁情报分析平台对其中的提取到4个IP进行分析，具体IOC信息如下所示：

总的来说，本次事件的发生强调了在处理来自不可信来源的机器学习模型时，进行彻底审查并采取安全措施的重要性。同时，这些事件也突显了AI模型安全的重要性和紧迫性，AI安全的发展不仅需要Hugging Face这类开源社区担起相关的责任，企业内部也需要在现有安全体系之上，构建AI安全相关的检测防御机制。

绿盟科技天元实验室专注于新型实战化攻防对抗技术研究。

研究目标包括：漏洞利用技术、防御绕过技术、攻击隐匿技术、攻击持久化技术等蓝军技术，以及攻击技战术、攻击框架的研究。涵盖Web安全、终端安全、AD安全、云安全等多个技术领域的攻击技术研究，以及工业互联网、车联网等业务场景的攻击技术研究。通过研究攻击对抗技术，从攻击视角提供识别风险的方法和手段，为威胁对抗提供决策支撑。

M01N Team公众号

聚焦高级攻防对抗热点技术

绿盟科技蓝军技术研究战队

官方攻防交流群

网络安全一手资讯

攻防技术答疑解惑

扫码加好友即可拉群