一、前言

之前对AI在安全攻击场景进行一些探索实践，一共分成了四个部分：文字、图片、声音、视频。其中大模型在对话、图片比较成熟，并且我们遇到的场景大部分也是文字、图片场景，所以文字、图片场景落地实践的场景相对比较多。声音和视频方面AI也在逐渐发力，体验一些新的产品，确实也不错。

二、文字信息

文字其实我们利用比较多，相对比其他声音、视频要成熟很多。

2.1、AI PASS

众所周知，红蓝对抗中必不可少的是爆破，每次遇到新的系统都会手动搜索系统名获取默认密码，实在是很繁琐耗时的一件事情。但是爆破成功进入系统后往往能做很多事情：

AI落地-蓝军之默认密码获取^[1]

2.2、AI PoC

在我们搜索PoC的时候，会遇到搜不到的情况，可以通过AI去识别输入内容的对应的公司、产品类型、产品类型，一直到搜索到结果。

2.3、获取供应商

比如我们需要对一个厂商进行安全测试，如中央财经大学，通过招标的信息，我们通过AI自动提取对应的厂商名称，很快整理出对应厂商的供应链。

https://www.cufe.edu.cn/info/1188/10237.htm

2.4、更多

1、智能识别敏感信息

2、代码审计

3、钓鱼文案编写

三、图片

图片的话，我是尝试多款工具，总是不能够达到自己的预期，一度怀疑自己的使用方法有问题，于是我去了解一下图片修改相关的技术（如当时练手帮别人P掉旁人），最终得出结论是AI图片生成或者修改并不能很好落地（在安全攻防场景）。

2.1、图片识别

2.1.1、信息泄露挖掘

2.2.2、AI外挂

外挂作者利用大数据模型对AI进行训练，使得AI具备精准识别出游戏画面中的人物角色模型的效果。并且由AI模拟输入键鼠、代替人类做出游戏中的操作。

这里最重要的是获取训练数据，因为算法都是开源的模型，比如yolo v8。

如何获取游戏截图呢？对于CS这款游戏来说，获取数据，要获取原始的游戏，可以通过外挂的方式+CS人机快速获取。

由于我下载的cs需要在win10上运行，所以下载的版本是修改过的，网上公开的外挂无法使用，所以自己寻找了一下指针地址，如修改子弹数量：52发。同时也锁定血量，所以跟人机玩获取大量游戏数据。

通过yolo 去做识别，然后自动截图，计算身体上半部分的位置，然后打枪。

2.2、图片生成

比如在红蓝对抗中，我们常常遇到钓鱼的场景，为了保证钓鱼的效果，最好是针对每个人都有特定的文案以及图片，于是想到使用AI去构造这些材料，发现效果不是很理想。

2.2.1、修改发票信息-修改图片的部分内容

比如我们使用公司退税的文案钓鱼，想修改发票的一些特定的文字，使用PS图片的修改发票的抬头信息，发现修改的效果还是比较差（不如自己PS修改）。

2.2.2、修改人物背景-图片合成

比如我们在钓鱼伪装学妹钓鱼的时候，需要在朋友圈设计学校+妹子照片，想到如何去合成图片。比如我找了一张清华大学的照片，以及使用SD画出一个妹子，最终想合成一个妹子在清华学校的图片。

了解midjourney有合成功能后，并且需要VIP，在充值了midjourney VIP后，使用midjourney的合成功能，发现也是差强人意。

直接/blend，对两张图片进行合并。

背景图片和人物都改动了需求，没有达到自己的需求（还是不如自己PS）。

通用使用openai进行合成，效果依旧不是很好。

四、声音

github上面也有开源的项目，这个项目目前只支持英语。

https://github.com/CorentinJ/Real-Time-Voice-Cloning

国内有人支持了中文根据Real-Time-Voice-Cloning项目支持了中文：

https://github.com/babysor/MockingBird

实时中文语音克隆——开源项目MockingBird体验 – 博客 – 腾讯安全应急响应中心^[2]

4.1、克隆周星驰的声音

目前发现一款非常棒的声音克隆工具：GPT-SoVIT

https://github.com/RVC-Boss/GPT-SoVITS

文档：https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e

这里是我克隆了周星驰的声音，个人觉得效果还是比较不错的。

这里可以用来做欺诈活动，以及解锁声音控制设备，而声音的素材容易获取，所以我们需要尤为注意这里的风险。

在攻击的角度，还是用于钓鱼场景，在钓鱼场景中跟人交谈过程，语音会提升伪装的可信度。

我们需要特别警惕（OpenAI的语言引擎也因此暂停发布）：

OpenAI 推出语音引擎，但出于安全考虑尚未公开发布 |美国公共广播公司新闻^[5]

五、视频

5.1、伪造人设-换脸

视频换头技术早在2018年就爆火了，并且有很多项目在github开源简单化使用。

1. 1. https://github.com/serengil/deepface

2. 2. https://github.com/iperov/DeepFaceLab

最近一款开源的换脸的工具效果尤为惊艳：facefusion

https://github.com/facefusion/facefusion

视频替换：这里我用胡歌替换钢铁侠里面的托尼

图片替换：我用胡歌替换一个在长城上的老外

这里在钓鱼场景的话，很容易通过换脸技术，伪造各种场合的照片比如：我在xx游玩、在xx学校、在xx公司等等。

我们需要特别警惕：

震惊！”变脸”冒充CFO，骗走两个亿！香港最大AI诈骗案细节曝光^[8]

5.2、伪造人设-生成整体视频

生成整体视频目前缺陷还是比较多的，并不能很好投入实践当中。比如runway生成的视频，提示词是：“钢铁侠在都市城市”，效果不是很好。

最近比较火的sora的效果看起来是很可以，但是目前还没开放使用，没办法使用。

貌似只能打造信用度不高的朋友圈，比如马尔代夫海滩旅游、南极看企鹅等等（不带人物）。

六、总结

AI在攻防方面，游戏安全等安全领域是很大的帮助，这篇文章说的是在攻击场景，那么防御场景呢？或许下篇文章再总结自己在安全防御方面探索与实践。

社群：加我lufeirider微信进群。

知识星球：关注攻击（红蓝对抗、代码审计、渗透、SRC漏洞挖掘等等）与防御（情报、扫描器、应用扫描、WAF、NIDS、HIDS、蜜罐等等）。目前聚焦ai落地攻击和防御。

引用链接

[1] AI落地-蓝军之默认密码获取: [https://mp.weixin.qq.com/s?__biz=MzU1NzkwMzUzNg==&mid=2247483819&idx=1&sn=6d672766eac01164b4846f6deedba511&chksm=fc2ffa74cb587362e450814ddfa606138c9476c283353c880d9df8416c9da99e1bb1eb637073&token=1792611112&lang=zh_CN](https://mp.weixin.qq.com/s?__biz=MzU1NzkwMzUzNg==&mid=2247483819&idx=1&sn=6d672766eac01164b4846f6deedba511&chksm=fc2ffa74cb587362e450814ddfa606138c9476c283353c880d9df8416c9da99e1bb1eb637073&token=1792611112&lang=zh_CN)
[2] 实时中文语音克隆——开源项目MockingBird体验 – 博客 – 腾讯安全应急响应中心: [https://security.tencent.com/index.php/blog/msg/204](https://security.tencent.com/index.php/blog/msg/204)
[3] v50.wav: https://uploader.shimo.im/f/LhKZfaknV1gR6eKB.wav?fileGuid=Wr3Dpzpr9WTvEg3J
[4] start_me.wav: https://uploader.shimo.im/f/3Me9ZCD3LSN3ESgQ.wav?fileGuid=Wr3Dpzpr9WTvEg3J
[5] OpenAI 推出语音引擎，但出于安全考虑尚未公开发布 |美国公共广播公司新闻时间: [https://www.pbs.org/newshour/economy/openai-reveals-voice-engine-but-wont-yet-release-it-publicly-due-to-safety-concerns](https://www.pbs.org/newshour/economy/openai-reveals-voice-engine-but-wont-yet-release-it-publicly-due-to-safety-concerns)
[6] iron.mp4: https://uploader.shimo.im/f/w54pYX02lBUooHUu.mp4?fileGuid=Wr3Dpzpr9WTvEg3J
[7] huge_iron.mp4: https://uploader.shimo.im/f/diTv8zE8zbdHPmAX.mp4?fileGuid=Wr3Dpzpr9WTvEg3J
[8] 震惊！”变脸”冒充CFO，骗走两个亿！香港最大AI诈骗案细节曝光: [https://www.stcn.com/article/detail/1116440.html](https://www.stcn.com/article/detail/1116440.html)
[9] Gen-2 4187732475, 钢铁侠在都市城市, M 5.mp4: https://uploader.shimo.im/f/L5tsqR5iawF6wM9a.mp4?fileGuid=Wr3Dpzpr9WTvEg3J

原文始发于微信公众号（lufeisec）：AI在“攻”的一些探索