tianyang/repobench-c

RepoBench-C（Completion）是RepoBench的一个子任务，专注于在给定文件内上下文（包括前几行代码和导入语句）和跨文件上下文的情况下，预测下一行代码。数据集包含多种设置，如跨文件首次使用（cff）、跨文件随机使用（cfr）和文件内使用（if），并支持Python和Java两种语言的代码预测任务。数据集的结构包括仓库名称、文件路径、上下文、导入语句、代码、提示信息和下一行代码。

RepoBench-C (Completion) is a subtask of RepoBench, which focuses on predicting the next line of code given both in-file context (including preceding code lines and import statements) and cross-file context. The dataset includes multiple experimental settings such as cross-file first-use (cff), cross-file random-use (cfr), and in-file (if) scenarios, and supports code prediction tasks for both Python and Java programming languages. The dataset's structure comprises repository name, file path, context, import statements, code, prompt information, and the target next line of code.

原始信息汇总

数据集概述

数据集名称

RepoBench-C (Completion)

数据集描述

RepoBench-C 是 RepoBench 的一个子任务，专注于预测给定文件内上下文（包括几个前续行和导入语句）以及跨文件上下文的下一行代码。

语言与许可证

• 语言创作者: found
• 许可证: CC BY-NC-ND 4.0
• 多语言性: 多语言

数据集大小

• 大小类别: 100K<n<1M

任务与设置

• 任务类别: text-generation
• 任务ID: document-retrieval
• 支持的任务:
  • python_cff: Python 代码预测，跨文件-首次设置
  • python_cfr: Python 代码预测，跨文件-随机设置
  • python_if: Python 代码预测，文件内设置
  • java_cff: Java 代码预测，跨文件-首次设置
  • java_cfr: Java 代码预测，跨文件-随机设置
  • java_if: Java 代码预测，文件内设置

数据集结构

json { "repo_name": "repository name of the data point", "file_path": "path/to/file", "context": "commented and concatenated cross-file context", "import_statement": "all import statements in the file", "code": "the code for next-line prediction", "prompt": "cross-file context + import statements + in-file code", "next_line": "the next line of the code" }

引用信息

bibtex @misc{liu2023repobench, title={RepoBench: Benchmarking Repository-Level Code Auto-Completion Systems}, author={Tianyang Liu and Canwen Xu and Julian McAuley}, year={2023}, eprint={2306.03091}, archivePrefix={arXiv}, primaryClass={cs.CL} }