最新研究发现，威胁行为者可以劫持支持人工智能 (AI) 的机器学习 (ML) 模型，即将AI技术中的代码武器化以获得初始网络访问权限，部署恶意软件（如勒索软件、间谍软件、后门程序）并在企业网络中横向移动。附带的危害还远不止这些，盗窃知识产权、泄露个人身份信息、拒绝/降级服务、名誉损害。由于这些模型通常是公开可用的，可作为一系列攻击的新型发射台，最要命的攻击还可能是毒害组织的供应链——企业需要为此做好准备。
HiddenLayer的SAI团队的研究人员开发了一种概念验证(POC)攻击，演示了威胁行为者如何使用ML模型——几乎所有现代人工智能解决方案的核心决策系统——来渗透企业网络，他们在12月6日发表的博客文章中透露。这项研究归功于HiddenLayer的对抗性威胁研究高级主管omBonner；Marta Janus，首席对抗性威胁研究员和高级对抗性威胁研究员Eoin Wickens。HiddenLayer是为机器学习算法、模型和支持它们的数据提供安全解决方案的供应商。HiddenLayer采用了一种史无前例的非侵入性软件方法来观察和保护ML，帮助保护世界上最有价值的技术。
CompTIA最近的一份报告发现，超过86%的受访首席执行官表示，他们各自的公司将在2021年将机器学习作为主流技术。事实上，解决方案广泛多样，如自动驾驶汽车、机器人、医疗设备、导弹制导系统、聊天机器人、数字助理、面部识别系统和在线推荐系统都依赖机器学习来发挥作用。
研究人员表示，由于部署这些模型的复杂性以及大多数公司的IT资源有限，组织在部署ML模型时经常使用开源模型共享存储库，这是问题的关键之所在。
“这样的存储库通常缺乏全面的安全控制，最终将风险转嫁给最终用户——而攻击者正指望它，”他们在帖子中写道。
HiddenLayer首席对抗性ML研究员MartaJanus告诉DarkReading，任何使用从不受信任来源或公共模型存储库获得的预训练机器学习模型的人都可能面临研究人员展示的攻击类型的风险。
“此外，依赖受信任的第三方模型的公司和个人也可能受到供应链攻击，其中提供的模型已被劫持，”她说。
研究人员演示了这种攻击如何在专注于PyTorch开源框架的POC中发挥作用，还展示了如何将其扩展到其他流行的ML库，例如TensorFlow、scikit-learn和Keras。
具体来说，研究人员使用类似于隐写术的技术将勒索软件可执行文件嵌入到模型的权重和偏差中；也就是说，他们替换了模型神经层之一中每个浮点数的最低有效位，Janus表示。
接下来，为了解码并执行二进制文件，该团队使用了PyTorch/pickle序列化格式中的一个缺陷，该格式允许加载任意Python模块和执行方法。Janus说，他们通过在其中一个模型文件的开头注入一个小的Python脚本来做到这一点，前面是执行该脚本的指令。
“脚本本身从张量重建有效载荷并将其注入内存，而不是将其放入磁盘，”她说。“被劫持的模型仍然可以使用，其准确性不会受到任何这些修改的明显影响。”
研究人员表示，由此产生的武器化模型可以避开当前来自防病毒和端点检测与响应 (EDR) 解决方案的检测，同时仅承受非常微不足道的功效损失。事实上，目前最流行的反恶意软件解决方案在扫描基于ML的威胁方面提供的支持很少或根本没有，他们说。
在演示中，研究人员在Windows 10系统上部署了一个64 位Quantum勒索软件样本，但指出任何定制的有效载荷都可以通过这种方式分发，并针对不同的操作系统进行定制，例如Windows、Linux 和 Mac，以及其他架构，例如x86/64。
对于利用ML模型攻击目标组织的攻击者，他们首先必须获得他们想要劫持的模型的副本，对于公开可用的模型，这就像从网站下载或从中提取一样简单使用它的应用程序。
“在一种可能的情况下，攻击者可以获得对公共模型存储库（例如Hugging Face或 TensorFlow Hub）的访问权限，并将合法的良性模型替换为将执行嵌入式勒索软件的木马化版本，”Janus解释道。“只要漏洞仍未被发现，下载木马化模型并将其加载到本地机器上的每个人都会被勒索。”
她补充说，攻击者还可以使用这种方法通过劫持服务提供商的供应链向所有服务订阅者分发木马化模型来进行供应链攻击。“被劫持的模型可以为进一步的横向移动提供立足点，并使对手能够泄露敏感数据或部署更多的恶意软件，”Janus 说。
研究人员表示，对企业的业务影响各不相同，但可能很严重。它们的范围从网络的初始破坏和随后的横向移动到勒索软件、间谍软件或其他类型的恶意软件的部署。攻击者可以窃取数据和知识产权，发起拒绝服务攻击，甚至如前所述，破坏整个供应链。
一是主动的威胁发现；不要等到太晚。预先训练的模型应该在部署前调查篡改、劫持或滥用的证据。HiddenLayer提供了一个模型扫描服务，可以帮助识别恶意篡改。他们还分享了一个专门的YARA规则，用于查找存储在序列化为pickle格式(一种常见的机器学习文件类型)的模型中的可执行代码的证据。
二是安全地评估模型行为；模型是一种软件，如果您不知道它来自哪里，就不要在您的企业环境中运行它。在考虑部署之前，应该在安全虚拟机内部仔细检查不可信的预训练模型。
三是加密哈希和模型签名；不仅仅是为了完整性，加密哈希还提供了模型未被篡改的验证。如果您想更进一步，用证书为您的模型签名可以确保特定级别的信任，这可以由下游用户验证。
四是外部安全评估；了解你的风险水平，解决盲点，看看你可以改进的地方。有了ML模型所掌握的敏感数据级别，对您的ML管道进行外部安全评估可能值得您花时间。HiddenLayer的SAI团队和专业服务可以帮助您的组织评估您的AI资产的风险和安全。
Janus解释说，这项研究警告任何使用从互联网下载或第三方提供的预训练ML模型的组织“就像对待任何不受信任的软件一样”对待它们。 应该对此类模型进行恶意代码扫描——尽管目前很少有产品提供此功能——并在安全环境中进行全面评估，然后再在物理机器上执行或投入生产。此外，任何生成机器学习模型的人都应该使用安全存储格式——例如，不允许代码执行的格式——并对所有模型进行加密签名，这样它们就不会在不破坏签名的情况下被篡改。
“加密签名可以像软件一样确保模型的完整性，”Janus说。
总体而言，研究人员表示，采取了解风险、解决盲点和确定企业中部署的任何ML 模型方面的改进领域的安全态势也有助于减轻来自该向量的攻击。
1、https://www.darkreading.com/threat-intelligence/machine-learning-models-dangerous-new-attack-vector
https://hiddenlayer.com/research/ai-a-new-potential-launchpad-for-ransomware
原文始发于微信公众号（网空闲话）：机器学习模型污染：一种危险的新型攻击向量
