RBCTest Dataset
收藏github2026-01-16 更新2026-01-22 收录
下载链接：
https://github.com/vnkata/RBCTest
下载链接
链接失效反馈官方服务：
资源简介：
RBCTest数据集是我们自行收集的数据集，包含8个服务，每个服务都有一个OpenAPI规范。
The RBCTest dataset is a self-collected dataset that contains 8 services, each with an OpenAPI specification.
创建时间：
2026-01-16
原始信息汇总
RBCTest 数据集概述
数据集来源
该数据集来源于论文《RBCTest: Leveraging LLMs to Mine and Verify Oracles ofAPI Response Bodies for RESTful API Testing》的配套资源库。
数据集构成
1. RBCTest 数据集
- 位置：
datasets/RBCTest - 描述：自收集的数据集，包含 8 个服务，每个服务均提供 OpenAPI 规范。
2. AGORA 数据集
- 位置：
datasets/agora - 描述：AGORA 数据集。
数据内容与结构
1. 约束挖掘与验证数据
- RBCTest 数据集挖掘结果：
approaches/our_data/our_mining - AGORA+ 数据集挖掘结果：
approaches/agora_data/our_mining - RBCTest 数据集真值约束：
approaches/our_data/our_ground_truth - AGORA+ 数据集真值约束：
approaches/agora_data/our_ground_truth
2. 评估与分析文件
- RBCTest 数据集评估结果：
approaches/our_data/CompareOurData.xlsx - AGORA+ 数据集评估结果：
approaches/agora_data/CompareAGORAData.xlsx - 重叠分析（RBCTest）：
approaches/our_data/Overlapping.xlsx - 重叠分析（AGORA）：
approaches/agora_data/Overlapping.xlsx
3. 实验输出
- AGORA 数据集动态检测不变量：
approaches/agora_data/agora_plus_mining/ - RBCTest 数据集动态检测不变量：
approaches/our_data/agora_mining/中各子文件夹的invariants.csv文件
数据集用途
该数据集用于支持 RESTful API 测试中响应体预言（Oracle）的挖掘与验证研究，具体包括：
- API 约束挖掘（请求-响应约束、响应属性约束）。
- 约束测试生成。
- 方法评估（约束挖掘评估、测试生成评估）。
相关实验
数据集支撑了以下研究问题（RQ）的实验分析：
- RQ1：在 AGORA 和 RBCTest 数据集上的约束挖掘结果对比。
- RQ2, RQ3, RQ4：在 RBCTest 数据集和 AGORA 数据集上的详细结果分析。
- RQ5：消融研究，相关数据位于
approaches/ablation。
搜集汇总
数据集介绍
构建方式
在RESTful API测试领域，RBCTest数据集的构建体现了对响应体预言挖掘的精细化探索。该数据集通过整合八个服务的OpenAPI规范，结合动态与静态分析方法，系统性地采集了请求-响应对。利用大型语言模型对API响应体进行约束挖掘，辅以AGORA动态不变量的检测机制，形成了多维度验证的预言集合。数据构建过程强调实验的可重复性，通过五次独立实验确保结果的统计稳定性，并在不同服务间建立了统一的评估框架。
特点
RBCTest数据集展现出多层次的特性，其核心在于融合了动态检测与静态分析的双重验证体系。数据集不仅包含原始的API规范与响应数据，还提供了经过标注的预言约束分类，覆盖了响应状态码、数据结构及内容语义等多个维度。通过详细的真阳性、假阳性和假阴性指标记录，该数据集支持对API测试预言质量的量化评估。此外，数据集与AGORA基准的对比分析结构，为研究不同挖掘方法的优劣提供了实证基础。
使用方法
使用RBCTest数据集需遵循其模块化的实验流程。首先配置包含OpenAI API密钥的环境，并调整大型语言模型参数以适配约束挖掘任务。通过运行专用的Python脚本，可分别执行请求-响应约束挖掘与响应属性约束挖掘，其中包含完整方法与消融实验的对比路径。数据集支持测试用例的自动生成与评估，研究者可通过执行评估脚本重新计算约束挖掘的准确率与测试生成的覆盖率指标，进而复现或扩展论文中的实验结论。
背景与挑战
背景概述
在软件工程领域，RESTful API测试的自动化与智能化是提升软件质量与开发效率的关键环节。RBCTest数据集由相关研究团队于近年构建，旨在通过大型语言模型挖掘与验证API响应体的预言机制，以应对传统API测试中预言生成依赖人工经验、覆盖率不足的瓶颈。该数据集聚焦于从真实API服务中提取请求-响应对，并基于OpenAPI规范构建约束条件，为自动化测试预言生成提供了结构化基准。其核心研究问题在于如何高效、准确地从API交互数据中推导出可用于断言验证的约束规则，从而推动智能测试生成技术的发展，对软件测试领域的自动化工具演进具有显著影响力。
当前挑战
RBCTest数据集致力于解决RESTful API测试中预言生成的挑战，即如何从复杂的API响应中自动识别并验证语义约束，以替代人工编写测试断言。这一过程面临响应体结构多样性、动态内容不确定性以及约束规则隐含性等难题。在数据集构建过程中，研究人员需克服从真实服务中收集高质量请求-响应对的困难，包括API端点的覆盖完整性、数据标注的准确性，以及如何将非结构化响应映射为可计算的约束表达式。此外，确保所挖掘约束与动态检测方法所得结果之间的一致性与可比性，亦是验证数据集有效性的关键挑战。
常用场景
经典使用场景
在软件工程领域，RESTful API测试的自动化与智能化是提升软件质量的关键环节。RBCTest数据集通过整合大型语言模型挖掘API响应体的约束条件，为自动化测试提供了丰富的基准数据。该数据集最经典的使用场景在于支持研究人员评估和比较不同约束挖掘方法的性能，特别是在验证API响应体是否符合预期规范方面。数据集包含多个服务的OpenAPI规范及对应的请求-响应对，使得测试用例的生成与验证能够在真实环境中进行，从而推动API测试技术的创新与发展。
衍生相关工作
基于RBCTest数据集，学术界衍生了一系列经典研究工作。例如，与AGORA数据集的对比分析推动了动态与静态约束挖掘方法的性能评估，相关论文深入探讨了大型语言模型在API测试中的潜力。此外，数据集还被用于开发新的测试生成算法，如基于约束的测试用例自动生成技术，这些工作进一步扩展了自动化测试的理论边界，并在实际系统中验证了其有效性，为后续研究提供了重要参考。
数据集最近研究
最新研究方向
在软件工程与API测试领域，RBCTest数据集正推动着基于大语言模型的RESTful API响应体预言挖掘与验证研究。该数据集聚焦于利用静态LLM方法与动态分析相结合，从API请求-响应对中自动提取约束条件，以构建更精准的测试预言。前沿探索涉及将挖掘的约束应用于测试生成，通过对比AGORA等基准数据集，评估静态与动态方法在预言质量上的互补性。这一方向呼应了智能化软件测试的热潮，旨在提升API测试的自动化水平与可靠性，对保障微服务与云原生应用的质量具有切实意义。
以上内容由遇见数据集搜集并总结生成
