RepoBench

该数据集名为RepoBench，是一个大规模的数据集，旨在评估仓库级别的代码补全能力。它包含三个不同的子集，分别针对代码补全任务的不同方面。其中，RepoBench-R子集用于上下文检索，RepoBench-C子集用于预测下一行代码，而RepoBench-P子集则用于端到端的代码补全。每个子集包含高达12000个样本，共同致力于仓库级别的代码补全任务。The dataset named RepoBench is a large-scale dataset intended to evaluate repository-level code completion capabilities. It includes three distinct subsets targeting different aspects of the code completion task. Specifically, the RepoBench-R subset is designed for context retrieval, the RepoBench-C subset for predicting the next line of code, and the RepoBench-P subset for end-to-end code completion. Each subset contains up to 12,000 samples, and they collectively focus on the repository-level code completion task.

搜集汇总

背景与挑战

背景概述

RepoBench是一个大规模数据集，专注于评估仓库级别的代码补全能力，包含三个子集（RepoBench-R、RepoBench-C、RepoBench-P），分别针对上下文检索、下一行代码预测和端到端代码补全任务，每个子集提供高达12000个样本，以全面支持代码补全研究。