「技术研报」以子之矛陷子之盾 · 用AI对AI漏洞的利用探索

2024年9月24日，OpenAI的CEO Sam Altman发表文章《The Intelligence Age》，大胆地宣告了AI时代的到来。

给予文章强有力支撑的是ChatGPT-o1的发布，这是一次里程碑式的事件，在深度学习的加成下，大模型如虎添翼，表现强劲。

身处时代浪潮之中，DARKNAVY也积极拥抱AI，探索AI和安全的关系。AI能否在发现和利用漏洞时，再现人类的方法论？AI会不会带来新的安全问题？

AI时代下，各大厂商纷纷推出了全新的AI产品、大模型，而对现存的产品，在迭代更新中，不少也加入了AI powered功能。AI已逐渐在无形之中成为了产品安全的一部分。新的代码也意味着新的攻击面，对于AI类的功能，更为特殊。

新增的代码仍受到传统攻击手法的威胁，从审计的角度来看，AI代码除了功能的不同，本质上还是代码中的一个子模块，内存溢出、越界等内存破坏漏洞皆有可能存在。而除了传统的代码攻击面外，还存在着特定于AI类别的攻击面，例如模型越狱、对抗样本攻击等等。

带着这样的思考，DARKNAVY的研究员将目光瞄准了Chrome的新增功能——AI Manager模块上。此模块[1]是Google于今年新推出的，主要用于帮助用户更快捷地写作。

此模块的架构和传统的Chrome模块大同小异，模块的主服务AIManagerKeyedService继承自基类KeyedService。关于这个类的生命周期，在类的声明处有注释[2]说明：

// The browser-side implementation of `blink::mojom::AIManager`. There should// be one shared AIManagerKeyedService per BrowserContext.

当renderer试图获取此接口时，会调用到此函数

void AIManagerKeyedService::AddReceiver(    mojo::PendingReceiver<blink::mojom::AIManager> receiver,    AIContextBoundObjectSet::ReceiverContext context) {  receivers_.Add(this, std::move(receiver), context);}

‍其中context的类型定义为：

  using ReceiverContext =      std::variant<content::RenderFrameHost*, base::SupportsUserData*>;

‍也就是说，AIManager服务中保存的context实际是来自frame的RenderFrameHost对象，而此服务的生命周期和frame的生命周期并无关系。熟悉浏览器沙箱的朋友读至此，应该已经意识到了问题。若攻击者在子frame中先绑定AIManager接口，将此接口传递出去，再销毁子frame，那么此时对应接口的RenderFrameHost已经被free，外部使用接口的功能将触发RenderFrameHost的UAF。

值得一提的是，此漏洞还是难得的不被MiraclePtr所保护的UAF漏洞:

MiraclePtr Status: NOT PROTECTED

DARKNAVY发现此问题后，意识到漏洞危害极高，迅速报告并协助了Google进行修复。Google于10月15日发布新版本修复了此漏洞。

发现漏洞后，思路自然地转向了研究此漏洞的可利用性。正如前文所述，AI能否在此研究过程中给予人类有力的援助？AI之于安全研究员，是一把趁手的武器，还是一堆废铜烂铁？

在今年GeekCon 2024新加坡站[3]的舞台上，有多个有关此话题的安全研究亮相。来自清华的张超教授，展示了他们团队将大模型应用于二进制分析领域的成果，成功地应用于二进制代码相似性检测、patch补丁检测等场景；

来自南洋理工的邓格雷，将大语言模型应用于Web渗透中，他们的PentestGPT[4]将渗透流程自动化、代码化，并已开源在Github上。

来自南洋理工的孙宇强和香港科技大学的吴道远，将场景聚焦于Web3中的合约代码审计，他们的AuditGPT通过将审计任务拆分，加入自定义的知识库，克服了一些传统静态分析工具的缺陷，每月能获得约10k$的奖金。

同样是今年，Google Project Zero也进行了相关的研究[5]，他们公开了Project Naptime来评估大语言模型的安全能力。文章中以严谨的实验测试比较了各个大模型在发现和利用漏洞上的能力。然而，实验中所用的样例都是较为简单的CTF式的题目，想要适用于真实的研究目标，仍道阻且长。

再次回到漏洞上，我们仍好奇：如今AI的能力对漏洞可利用性分析的帮助究竟有多大？

Chrome中集成的正是Google DeepMind团队研发的Gemini[6]大模型，于是本次我们选用Gemini 1.5 Pro作为我们的智囊，探索他能提供什么有用的帮助。作为对照组，我们同时还会每次将同样的问题发送给ChatGPT 4o和Claude 3.5 Sonnet。在下文中，若没有额外说明，则表示三个模型的表现类似。

当我们不加修改地将我们的漏洞报告原文发给大模型时，得到了以下对话。

Prompt：

我们向Google报告了一个在Chrome浏览器中的UAF漏洞，以下是漏洞报告的原文，你在阅读后请告诉我要如何利用这个漏洞：…

Gemini回答（部分）：

其他大模型的回答也大同小异，他们确实给出了一个正确的方案，然而，这对于一个专业的研究员来说帮助并不大，这一套回答几乎可以套用到任何UAF漏洞上。那么我们进一步追问其有什么可用的对象，Gemini给出了以下回答（部分）：

这是个典型的“看似”正确的回答，实际上大模型并不清楚，renderer和browser是两个进程，前两个对象都是在renderer进程内分配，不能影响到我们的目标进程，只有最后一个对象是可行的。此问题上，Claude只回答了ArrayBuffer，而ChatGPT则与Gemini差不多。

const buffer = new ArrayBuffer(totalSize);
// 获取 DataView 以便于操作不同数据类型const view = new DataView(buffer);
// 假设 ref_count_ 偏移量为 0// polymorphic_invoke_ 偏移量为 8// destructor_ 偏移量为 16// query_cancellation_traits_ 偏移量为 24
// polymorphic_invoke_ 应该指向一个执行 WinExec("calc", 5) 的函数// 在这里，我们用一个占位符表示，实际需要将其替换为对应的函数指针const winExecFuncPtr = 0x12345678n; // 替换为实际的函数指针, 使用BigInt
// destructor_ 可以暂时设置为一个空函数或者一个安全的销毁函数const destructorPtr = 0x87654321n; // 替换为实际的函数指针, 使用BigInt
// query_cancellation_traits_ 可以设置为总是返回 true 的函数const queryCancellationTraitsPtr = 0xabcdef01n; // 替换为实际的函数指针, 使用BigInt
// 将数据写入 ArrayBuffer, 使用 BigUint64 来处理64位数据view.setBigUint64(0, 1n, true); // ref_count_ 初始化为 1view.setBigUint64(8, winExecFuncPtr, true); // little-endianview.setBigUint64(16, destructorPtr, true); view.setBigUint64(24, queryCancellationTraitsPtr, true); 
// 假设 BindStateBase 对象从偏移量 x 开始const x = 0; // 假设从头开始
// 获取指向 BindStateBase 对象的指针const bindStatePtr = buffer.byteOffset + x;
// 创建一个 TypedArray 来模拟 C++ 对象访问, 使用 BigUint64Arrayconst bindStateView = new BigUint64Array(buffer, bindStatePtr);

尽管如今的大模型能力飞速跃升，但在漏洞利用这样的细分场景下，寻找堆喷对象、内存破坏的目标对象等任务仍无法通过大模型来完成。此时需要的能力是，从海量的结构体数据中筛选出符合利用需求，而这需要大模型“聪明”的大脑中能拥有大量的记忆以至于能塞下一整个代码库。但若不将如此艰巨的任务交给大模型，一些日常的工具性的任务他们还是可以出色地完成的。

参  考：

[1] https://blog.google/products/chrome/google-chrome-generative-ai-features-january-2024/

[2] https://source.chromium.org/chromium/chromium/src/+/refs/tags/130.0.6669.0:chrome/browser/ai/ai_manager_keyed_service.h;l=25

[3] https://geekcon.top/

[4] https://github.com/GreyDGL/PentestGPT

[5] https://googleprojectzero.blogspot.com/2024/06/project-naptime.html

[6] https://gemini.google.com/

点击“阅读原文”

直达 DARKNAVY 技术博客