Rails Dataset, Google Dataset

Rails数据集是从Travis CI上的rails/rails项目收集的，包含了2016年3月至8月的3000次连续构建，去除了196次取消的构建，最终包含2804次构建，记录了超过350万次测试套件执行。每个测试套件记录包括测试套件标识符、执行时间、作业和构建标识符、开始和结束时间以及结果状态。Google数据集反映了Google的一种质量保证活动，包含了超过350万次测试套件执行的样本，收集自15天内的一小部分Google产品。数据包括状态结果、执行时间、重新调整的变更请求编号和使用的语言。The Rails dataset is collected from the rails/rails project on Travis CI, encompassing 3000 consecutive builds from March to August 2016. After removing 196 canceled builds, it ultimately includes 2804 builds, recording over 3.5 million test suite executions. Each test suite record includes the test suite identifier, execution time, job and build identifiers, start and end times, and result status. The Google dataset reflects a quality assurance activity at Google, containing samples of over 3.5 million test suite executions, collected from a small subset of Google products over 15 days. The data includes status results, execution times, re-adjusted change request numbers, and the languages used.

原始信息汇总

Rails Dataset

• 来源: 从Travis CI上的rails/rails项目收集，该项目是一个使用Ruby编写的开源项目，超过50,000次构建。
• 数据收集时间: 2016年3月至8月，共收集3000次连续构建，去除196次取消的构建，剩余2804次构建。
• 数据量: 包含超过3.5百万次测试套件执行记录。
• 数据内容: 包括测试套件标识符、执行时间、作业和构建标识符、开始时间、结束时间和结果状态。
• 文件格式: 压缩为zip格式，字段以分号分隔。
• 引用信息: 引用时请使用Jingjing Liang, Sebastian Elbaum, and Gregg Rothermel, "The Rails Dataset of Testing Results from Travis CI", 2018。

Google Dataset

• 来源: 从Google的多种质量保证活动中抽取，涉及多个Google产品。
• 数据收集时间: 15天内，收集超过3.5百万次测试套件执行记录。
• 数据内容: 包括执行状态、执行时间、重标度变更请求号和使用的语言。
• 数据划分: 分为“GooglePre”和“GooglePost”两个子集，分别对应预提交和后提交测试阶段。
• 文件格式: 压缩为zip格式，字段以逗号分隔。
• 引用信息: 引用时请使用Sebastian Elbaum, Andrew Mclaughlin, and John Penix, "The Google Dataset of Testing Results", 2018。

数据字段描述

Rails Dataset

• Test Suite: 测试套件名称，包括目录结构。
• Test Suite Start Time: 测试套件开始执行时间。
• Test Suite Duration: 测试套件执行时间（秒）。
• Test Suite Runs: 测试套件执行次数。
• Test Suite Assertions: 测试套件中的断言数量。
• Test Suite Failures: 测试套件中的失败测试案例数量。
• Test Suite Errors: 测试套件中的错误测试案例数量。
• Test Suite Skips: 测试套件中跳过的测试案例数量。
• Build Number: 构建编号。
• Build Pull Request: 是否为拉取请求。
• Commit Sha: 提交的唯一对象标识。
• Build State: 构建执行状态。
• Build Start Time: 构建开始执行时间。
• Build Finish Time: 构建完成执行时间。
• Build Duration: 构建总执行时间（秒）。
• Job Id: 作业ID。
• Job Start Time: 作业开始执行时间。
• Job Allow Failure: 作业是否允许失败。

Google Dataset

• Test Suite: 测试套件名称，已进行模糊处理。
• Change Request: 导致测试套件执行的变更请求号。
• Stage: 测试阶段，分为“Pre”和“Post”。
• Status: 测试套件执行状态。
• Launch Time: 测试套件执行的日期和时间。
• Execution Time: 测试套件执行时间（毫秒）。
• Size: 测试套件中测试的大小分类。
• Shard_number: 用于执行套件的分片数。
• Run_number: 在单个变更列表上对每个测试套件执行的次数。
• Language: 使用的编程语言。

搜集汇总

数据集介绍

构建方式

Rails Dataset的构建基于Travis CI平台上rails/rails系统的连续集成测试数据，涵盖了2016年3月至8月期间的3000个连续构建，剔除了196个被取消的构建，最终包含2804个构建，记录了超过350万条测试套件执行信息。Google Dataset则源自Google内部的质量保证活动，收集了15天内超过350万条测试套件执行记录，涵盖了预提交和后提交两个测试阶段，并对并行执行的测试套件进行了合并处理。

使用方法

Rails Dataset和Google Dataset均以压缩文件形式提供，字段分别以分号和逗号分隔。用户可通过解压文件并解析字段信息，进行连续集成测试过程的分析、预测模型的开发以及测试调度和选择技术的评估。使用时应遵循相关引用规范，确保数据来源的透明性和学术诚信。

背景与挑战

背景概述

Rails Dataset和Google Dataset是由Jingjing Liang、Sebastian Elbaum和Gregg Rothermel等研究人员于2018年创建的，旨在支持软件测试与分析领域的研究。这两个数据集分别来源于开源项目Rails在Travis CI上的构建记录和Google内部的质量保证活动，涵盖了大量的测试套件执行记录。Rails Dataset包含了2016年3月至8月间的2804次构建记录，涉及超过350万次测试套件执行；Google Dataset则包含了15天内超过350万次测试套件执行的样本。这些数据集为研究连续集成测试中的测试调度、选择及性能预测提供了丰富的数据支持，并在ICSE 2018等顶级会议上发表了相关研究成果，对软件工程领域的测试技术发展产生了深远影响。

当前挑战

Rails Dataset和Google Dataset在解决连续集成测试中的测试调度、选择及性能预测等问题时，面临诸多挑战。首先，测试套件的执行时间和结果具有高度不确定性，如何从海量数据中提取有效特征并构建准确的预测模型是一个关键难题。其次，测试套件的并行执行（如Google Dataset中的shard机制）增加了数据处理的复杂性，需要设计合理的算法来合并和分析并行执行的结果。此外，数据集中存在大量取消的构建记录和不连续的数据段，如何有效清洗和处理这些数据以确保分析的准确性也是一个重要挑战。在构建过程中，研究人员还需应对数据隐私保护、数据格式统一化以及跨平台数据整合等技术难题。

常用场景

经典使用场景

在软件工程领域，Rails Dataset和Google Dataset被广泛应用于持续集成测试的研究中。这些数据集为分析大规模测试过程、开发预测模型以及优化测试调度和选择技术提供了丰富的数据支持。研究人员可以利用这些数据集深入探讨测试执行的效率与效果，从而推动软件测试技术的进步。

解决学术问题

Rails Dataset和Google Dataset解决了持续集成测试中的多个关键学术问题。通过提供详细的测试套件执行记录，这些数据集帮助研究人员分析测试失败的原因、评估测试优先级策略的有效性，并开发出更高效的测试调度算法。这些研究不仅提升了测试的自动化水平，还为软件质量的持续改进提供了理论依据。

实际应用

在实际应用中，Rails Dataset和Google Dataset为软件开发团队提供了宝贵的参考数据。通过分析这些数据集，团队可以识别测试中的瓶颈，优化测试流程，减少测试时间，从而提高软件发布的效率。此外，这些数据集还被用于培训机器学习模型，以预测测试结果，进一步提升测试的智能化水平。

数据集最近研究

最新研究方向

在软件工程领域，持续集成测试数据集如Rails Dataset和Google Dataset正成为研究热点，特别是在大规模测试过程分析和预测模型开发方面。Rails Dataset源自Travis CI上的Rails项目，涵盖了2804次构建和超过350万次测试套件执行记录，为研究者提供了丰富的测试执行信息。Google Dataset则包含了Google产品在15天内的350万次测试套件执行数据，涵盖了预提交和后提交测试阶段。这些数据集不仅支持测试调度和选择技术的优化，还为开发高效的测试优先级策略提供了数据基础。相关研究已在ICSE和FSE等顶级会议上发表，推动了持续集成测试技术的创新与发展。