【论文分享】An Extensive Study of Residential Proxies in China

今天分享的论文主题为住宅型网络代理(Residential Proxy)。该工作由来自山东大学、中国科学技术大学以及奇安信技术研究院等的研究人员共同完成。该论文首次深入研究了中国境内的住宅网络代理（RESIP)，作者设计了自动捕获RESIP服务的分类器，并提出一种基于流量标记的代理节点识别方法，研究人员收集了迄今为止规模最为庞大的RESIP数据集。在此基础上，作者研究了住宅网络代理的生态以及安全风险。该论文已被网络安全领域顶级会议ACM CCS 2022录用（录用率58/324=17.9%）。

全文共2300字，阅读时间约6分钟。

01

住宅网络代理（RESIP）指的是基于互联网服务提供商（ISP）的真实IP主机地址组成的大规模代理网络，其节点广泛分布于家庭网络或蜂窝网络中。与VPN和Tor等传统网络代理相比，住宅网络代理节点具有更好的声誉，通过代理中继的网络流量可疑性更低，因此更容易绕过封锁限制。此外，RESIP通常提供公开服务，购买方便，且很少甚至不需要对购买者进行身份检查。因此，这一特性也被攻击者所滥用，攻击者可将恶意流量通过住宅代理伪装成良性流量，从而规避基于IP地址信誉度的安全检测手段。

2019年，Xianghang Mi等人的研究工作选取了5个具有代表性的RESIP服务，在测试期间累计收集到超过600万个住宅网络代理的IP地址，研究人员通过分析这些IP地址发现了部分RESIP服务可能运行在受恶意软件感染的设备上。部分攻击者正在利用RESIP网络代理实现非法推广、Fast fluxing、钓鱼攻击以及传播恶意软件等目的。

随着RESIP生态系统的迅速发展，服务商之间的竞争愈发激烈，2019年研究中的38个RESIP服务提供商目前已有7个不再提供服务。因此，以往研究工作中的发现和结论对当下的RESIP生态可能已不再适用。

此外，以往工作主要通过手工方式收集网络代理节点，效率和覆盖率均不高，尤其是针对中国境内的RESIP服务提供商涉及甚少。因此，该研究工作旨在提出一种自动化识别RESIP服务的方法，实现对新涌现的RESIP服务提供商进行持续检测。论文还针对中国目前的RESIP生态系统进行深入研究，关注其分布及演变状况，分析安全影响以及相关的供应链。

1. 收集RESIP服务提供商

研究人员首先选取了住宅代理相关的中文和英文关键词，并通过搜索引擎进行检索，最终找到了12519个种子数据集。

图表 2 输入搜索引擎的关键词

随后，研究人员以人工分析等方式确认了110个RESIP服务网站和1073个非RESIP网站。该数据集作为后续研究的ground truth（标记数据）。作者爬取相应网站首页、获取文本信息，并基于TF-IDF获取了12个能有效区分RESIP服务和非RESIP服务的关键词。

接着，作者以这些关键词作为特征，训练出一个基于随机森林的分类器。该分类器可达到F1值为98.66%的分类效果。最终，研究人员通过预测和人工过滤，累计找到了289个活跃的RESIP服务提供商，并进一步选取了64个中文站点作为研究对象。

2. 收集RESIP网络代理节点地址

在获得RESIP服务商信息后，接下来就要收集这些服务商的RESIP网络代理节点地址。

大多数住宅网络代理的工作模式为Backconnect RESIP(BC-RESIP)，如下图所示。在BC-RESIP模式下，住宅代理隐藏在RESIP服务商的网关之后，服务使用者需要首先连接网关，进而将请求中继到住宅代理。

图表 3 BC-RESIP的工作模式

基于上述发现，研究人员设计了一套BC-RESIP节点地址收集框架，借助受控的Web客户端主机，通过其购买的RESIP服务网关向受控的Web服务器连续发起访问请求，从而持续地收集RESIP 网络代理节点的IP地址。

图表 4 BC-RESIP节点地址收集框架

研究人员选取了5个具有代表性的中国RESIP服务商。在2021年3月至10月期间，基于上述实验框架共采集到来自5个RESIP服务商的818万个代理节点主机地址。

此外，中国的RESIP服务还提供Direct RESIP类型的代理，即由住宅代理直接监听代理端口转发流量，免去了网关中继的环节。由于多数Direct RESIP通过注册子域名提供服务，研究人员从Passive DNS数据中获取了相应的IP地址（DP-RESIP）。部分RESIP服务商还提供可查询代理地址的 API接口，可查询RESIP的IP和端口信息（DA-RESIP）。

总之，在上述过程中，研究人员共获得了42个服务商的147万个DP-RESIP和3个服务商的228万个DA-RESIP。

基于收集到的RESIP IP信息，结合WHOIS，IPINFO，威胁情报信息等安全数据，研究人员首先对RESIP的分布和使用情况进行分析，主要结论包括：

1. 900多万个RESIP分布在超过两百个国家和地区，覆盖了5万多个自治系统。

2. 相比于以往研究中收集的RESIP数据集，这项工作中发现96.7%的RESIP节点均为首次出现。

3. RESIP节点的存活时间通常非常短暂，53%的RESIP会24小时内消失。

图表 5 不同类RESIP的数量分布

图表 6 RESIP的地理分布

图表 7 和之前RESIP数据集：RESIP-2017,RESIP-2019的对比

图表 8 RESIP生存时间的CDF图

在安全问题方面，研究人员通过交叉比对威胁情报数据，最终发现：

1. 至少80%中国境内RESIP节点曾经发出过恶意流量，总计5200万条；而中国境外的RESIP节点，这一比例仅有0.28%；

2. 在所有恶意行为中，63%中国境内RESIP节点曾经发出过非法挖矿流量，57%存在与远控木马关联的行为，21%曾经参与僵尸网络活动；

3. 3129个中国RESIP曾经为IoT僵尸网络家族Mozi提供托管服务；

4. 在包括政府机构以及高等院校在内的559个重要组织机构网络环境中，研究人员也发现了住宅代理节点存在的迹象。

这项研究工作对中国境内的RESIP生态系统进行了深入研究，收集了迄今为止规模最大的RESIP数据集，并揭示了该生态系统的活跃情况以及相关安全风险。文章中提出了一个自动化的RESIP服务分类器，并识别出399个RESIP服务提供商。文章中提出的数据收集方法和生成的相关数据集，将有助于促进后续的相关研究工作。

原文链接（preprint，会议版本暂未放出）：

https://arxiv.org/pdf/2209.06056.pdf

参考文献：

[1]We were luminati. now we’re bright data. http://web.archive.org/web/ 20220114011818/https://brightdata.com/luminati, 2021.

[2] Xianghang Mi, Xuan Feng, Xiaojing Liao, Baojun Liu, XiaoFeng Wang, Feng Qian, Zhou Li, Sumayah Alrwais, Limin Sun, and Ying Liu. Resident evil: Understanding residential ip proxy as a dark service. In 2019 IEEE Symposium on Security and Privacy (SP), pages 1185–1201. IEEE, 2019.

[3] History datasets: RESIP-2017 and RESIP-2019.https://rpaas.site/

[4] 糜相行：针对大规模住宅网络代理的安全研究. https://www.inforsec.org/wp/?p=5353

编辑&审校|张一铭、刘保君