Qurrent/RES-Q

RES-Q是一个基于简洁自然语言指令的代码库编辑基准测试。任务是根据编辑指令和代码库生成一个补丁文件，以正确编辑代码库。该数据集作为[RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale](https://arxiv.org/abs/2406.16801)的一部分发布。每个任务实例包括唯一标识符、仓库URL、编辑指令、基础提交哈希、测试脚本、测试环境、依赖文件、解决方案提交哈希、补丁文件、修改文件列表和主要编程语言。

原始信息汇总

数据集概述

RES-Q 是一个基于紧凑自然语言指令的代码库编辑基准。任务是根据编辑指令和代码库，生成一个补丁文件，正确地对代码库进行编辑。

数据集结构

RES-Q 任务实例的示例如下：

• id (str) - 任务实例的唯一标识符。
• repo_url (str) - 任务涉及的仓库的 URL。
• instruction (str) - 仓库编辑指令。
• base_commit (str) - 表示指令执行前仓库 HEAD 的提交哈希。
• test_script (str) - 任务的测试套件，作为从仓库根目录运行的 Python 脚本。
• testbed_environment (str) - 运行测试套件的 Python 版本。
• requirements_txt (str) - 运行测试套件所需的 pip 包依赖。
• solution_commit (str) - 表示指令执行后仓库 HEAD 的提交哈希。
• solution_patch (str) - 表示基础提交和解决方案提交之间差异的统一差异格式补丁。
• modified_files (list) - 包含解决方案提交修改的文件的相对路径和内容的字典列表。
• language (str) - 仓库的主要编程语言。

搜集汇总

背景与挑战

背景概述

RES-Q是一个代码库编辑基准数据集，基于简洁自然语言指令，旨在评估大型语言模型在代码编辑任务上的性能。数据集包含100个任务实例，每个实例包括仓库URL、编辑指令、测试脚本和补丁文件等字段，总大小为4.66 MB，格式为json，主要用于测试模型生成正确代码补丁的能力。