浅谈LLM时代下的REST API自动化测试

业界REST API自动化测试典型框架

    接下来，本文将列举和介绍目前业界主要的API自动化测试平台，对它们的特性进行分析和比较。

部分业界REST API自动化测试平台的调研结果

    目前来说，业界的REST API测试平台案例存在以下特点：

1.注重对复杂技术架构的兼容性和可扩展性

    大型企业的软件系统具有复杂和多样化的技术架构，涵盖多样化的技术栈和API调用协议类型（如Thrift、gRPC等）。API自动化测试平台需要实现应用在不同语言、协议等技术环境的测试框架，以集成到复杂企业软件架构中，确保API测试平台的适用性。

2.与业界软件生态深度结合

    业界API测试平台更注重于向公司提供丰富的基础能力，提供测试任务构建、测试执行、检查点校验和测试报告生成等功能的一站式自动化平台，并结合业界良好的产品生态，与SDLC（Secure Software Development Life Cycle）深度结合，优化一线人员的使用体验。

    例如：字节跳动的BAM通过对接内部的代码仓库平台Codebase来实现公司内部全部服务的统一接口管理；美团的Lego开发团队将API测试的SDK推广到一线研发和测试人员使用，向测试人员提供线上接口调用流量排序等信息，帮助测试人员制定计划优先维护哪些API的测试用例。

3.偏重于黑盒测试

    目前来说，业界仅支持API的黑盒测试，也就是着眼于接口的功能，依赖测试人员创建测试任务，通过API执行的反馈信息进行断言判断和测试报告生成。纯黑盒测试虽然增强了API测试平台的通用性，降低了平台的接入成本，但是在纯黑盒测试达到瓶颈时，只能通过白盒测试提供信息来进一步提升测试效果。比如在测试中纳入覆盖信息，就可以在API测试中提供更多的信息，引导测试探索更多的程序行为。

1. Restler

    Restler 是学术界提出的第一个有状态 REST API Fuzz 测试工具。Restler主要接受REST API的Swagger Specification（一种REST API的接口描述文档）作为输入，解析Swagger Specification并自动化生成并执行一系列API调用，对REST API进行Fuzz测试。

restler-fuzzer：https://github.com/microsoft/restler-fuzzer

    Restler主要通过以下两种方式生成API调用序列：

•通过接口描述文档静态分析请求参数依赖

    Restler Compiler提供对REST API Specification文档的静态分析结果，通过参数类型推断请求之间的生产者-消费者关系（如下图中POST请求返回的id信息和DELETE、GET和PUT请求的id参数存在生产者-消费者依赖），用于创建API调用序列。

ICSE’19：RESTler: Stateful REST API Fuzzing，example of producer-consumer relationship of API operations

•基于API调用的反馈信息动态维护调用序列

    Restler Test Engine支持在Swagger文档静态分析结果的基础上的自动化测试用例生成和执行。Restler还可以对测试执行的反馈进行学习，动态维护调用序列：如果生成的API调用序列 A-B-C 在使用过程中 A 或 B 遇到类似 500 等错误状态码，则将该序列加入黑名单，之后不再维护与生成。

    Restler已经在GitLab、Azure和Office365云服务中得到应用，发现了一系列有效的代码缺陷。

2. EvoMaster

    EvoMaster 是第一个在GitHub开源的AI-driven的自动化测试生成工具，它使用进化算法（Evolutionary Algorithm）和动态程序分析（Dynamic Program Analysis）自动化生成API测试用例。EvoMaster可以自动为web/企业应用程序生成系统级测试用例。它不仅支持对REST API执行Fuzz测试，还可以支持GraphQL API和RPC的Fuzz测试。

    如下图，在架构上，EvoMaster的实现主要划分为负责和SUT（System under Test）交互的Driver和负责测试用例生成的Core两个组件，Driver和Core之间通过HTTP进行通信。

TSEM’23：White-Box Fuzzing RPC-Based APIs with EvoMaster: An Industrial Case Study，Overview of EvoMaster

本文将EvoMaster的特点从算法和功能上总结如下：

1.在算法上

    EvoMaster 内部使用进化算法和动态程序分析来生成有效的测试用例。具体来说，该类方法从一个随机的初始种群开始进化测试用例，试图最大化代码覆盖率和缺陷数量等指标。

    此外，EvoMaster还利用了多种在软件测试领域广泛应用的启发式算法来提高工具性能。

2.在功能上

    EvoMaster 主要特性包括：支持 Web API (REST、GraphQL 和 RPC) 的黑盒和白盒测试模式、对JVM语言的字节码分析和SQL handling白盒测试（利用SQL数据库的交互信息产生更高覆盖率的测试用例）等。

1.聚焦于自动化测试输入生成

    学术界工具主要致力于自动化REST API测试输入的生成，其通过推导API调用序列蕴含的参数依赖关系，自动化生成符合API规范合法性和业务逻辑的API调用操作序列，从而对API测试的复杂场景进行测试，发现程序缺陷。

2.依赖状态码和返回信息作为反馈信号

    目前，学术界的API自动化测试工具依赖于公开 API 的状态码和返回信息作为反馈信号，一种可能的原因是用于评估工具的数据集不得不包含一些被广泛使用、API 数量大、可被外部访问的网站或服务（如 Youtube、Twitter 等），但这些网站或服务通常不提供源代码。这种情况下，学界的测试工作难以深入探索白盒 API 测试，而更多局限于黑盒测试。

    随着GPT-4.0、Gemini、Claude等LLM（Large Language Model：大语言模型）的推出，LLM已成为技术创新的焦点，展现出巨大的发展潜力和广泛的应用前景。处于大模型技术应用的蓝海时期，我们不禁期待LLM能够如何赋能于REST API测试技术，是否会引领新一代智能化REST API测试的潮流，激发出该领域的创新活力。

    因此，基于初步的调研与分析，本文提供了五个可能有潜力的LLM赋能于REST API测试的方面，希望能够对相关技术人员和研究人员有所启发。

IEEE ICST’20：RESTTESTGEN: Automated Black-Box Testing of RESTful APIs

IEEE ICSE-NIER’24：Leveraging Large Language Models to Improve REST API Testing，Guielines of LLM prompt for extracting logical constraints.

    在API Fuzz测试中，Fuzzer需要在执行前从语料库中选择随机seeds来生成一组测试的初始输入，一组多样化的初始seeds可以在测试中覆盖更多的功能，触发被测程序的深层次行为，发现更多的代码缺陷。

    然而，目前API Specification仅仅为极少字段提供默认值或有效示例，初始seeds生成比较依赖随机生成或者由研究人员提供一个默认的字段值字典。

    基于LLM的seeds生成的主要优势在于：针对特定项目背景的REST API，LLM可以结合其在大规模语料库训练中积累的领域知识，生成符合项目背景的多样化初始seeds，使得Fuzz可以探索更深层的程序行为。

    Fuzz harness是负责调用目标代码，将测试输入传递到特定的函数或接口的代码框架。它的主要目标是将Fuzz Engine和Fuzz targets连接起来，执行Fuzz 测试。

    Google发布的Fuzz工具OSS-Fuzz为了解决在开源软件项目中的fuzz blockers（尽管消耗了大量的CPU时间，Fuzz测试的行覆盖率依然较低，约为百分之三十）问题，提出并尝试向LLM提供项目的低覆盖率部分代码信息，自动生成Fuzz harness，引导改善项目的Fuzz测试覆盖率指标。截至目前，借助LLM生成Fuzz harness，OSS-Fuzz在开源软件项目TinyXML2中将Fuzz测试的行覆盖率指标（LOC）从38%提高了69%。

Experiment framework of fuzz targets generation with LLM（OSS-Fuzz）

    SBST（Search-Based Software Testing）是一种使用搜索算法（如BFS、遗传算法等）来自动化生成测试用例，旨在最大化代码覆盖率并且发现更多程序缺陷的自动化软件测试技术。SBST 的核心挑战之一在于搜索空间往往极其庞大，需要对搜索空间进行剪枝，提升搜索效率。

    LLM可以利用API Specification中的语义信息和大规模语料库中的知识来辅助搜索空间剪枝，为搜索空间生成若干启发式语义规则，动态调整搜索空间的边界，优化搜索的效率。

    例如对于Integer类型的字段age，它的基本类型取值范围是-2147483648 <= age <= 2147483647。虽然这一取值范围涵盖了整型变量的所有可能值，但不符合现实世界的常识性约束。LLM 可以根据常识性知识生成启发式规则：人的自然年龄不可能为负数，且几乎不可能超过 200 岁。因此，可以通过剪枝将搜索空间缩小为 0 < age < 200，显著提高测试效率。

    这种基于语义信息的空间剪枝策略，结合了 LLM 的常识推理能力，能够有效减少不合理输入的生成次数，帮助 SBST 在庞大的搜索空间中更高效地探索有意义的测试用例，从而提高缺陷发现的效率和覆盖率。

    本文调研结果涉及的在学术界工具中采用的REST API测试的Test Oracle主要分为以下两种：

1.REST API的返回状态码结果 (Response Code = 2xx，4xx，5xx等），判断REST API调用引起的系统崩溃行为等。

2.REST API的返回的资源对象（HTTP JSON Body）是否和API Specification的描述在语法上一致，进行JSON资源对象的约束检查。（例如返回的资源对象的字段数目、类型等）。

    同时，在业界，API测试平台通过手工配置基于API调用返回的资源对象JSON属性的约束点，超时检查的规则完成自动化约束点检查。这些约束规则的编写需要对项目具有经验的专业人员根据需求结合专业背景耗费大量精力进行编写。

    LLM可以根据REST API的接口文档和业务功能描述自动化生成测试用例。通过对文本的解析和学习，LLM能够识别程序逻辑，预测程序行为，从而生成相应的Test Oracle。这种方法不仅可以提高测试效率，还可以帮助改善测试用例的全面性和准确性。

Codewisdom平台由复旦大学软件工程实验室运营，提供智能化软件开发平台及线上沙龙相关资讯，关注可了解更多智能化软件开发的最新消息~

作者｜武雅琛、李佳庚、董  震

排版｜王骏飞

审核｜董  震、彭  鑫