JetBrains-Research/lca-codegen-small

该数据集名为LCA Project Level Code Completion，主要用于代码补全任务。数据集包含多个特征，如仓库名称、提交哈希、补全文件内容、补全行信息等。数据集的收集方法是通过克隆GitHub上以Python为主要语言的仓库，并提取提交中的`.py`文件作为补全文件。数据集还提供了详细的统计数据，如数据点数量、仓库数量、提交数量等。

This dataset is titled LCA Project Level Code Completion, and it is primarily intended for code completion tasks. It encompasses multiple features, including repository name, commit hash, content of the files to be completed, and line information corresponding to the code completion targets, among others. The dataset is collected by cloning GitHub repositories that use Python as their primary programming language, and extracting `.py` files from commits as the files for code completion. Furthermore, the dataset provides detailed statistical metrics, such as the total number of data points, the number of repositories, the number of commits, and other relevant statistics.

原始信息汇总

LCA Project Level Code Completion 数据集概述

数据集信息

特征

• repo: 仓库名称，格式为 {GitHub_用户名}__{仓库名称}，数据类型为字符串。
• commit_hash: 提交哈希，数据类型为字符串。
• completion_file: 包含完成文件内容的字典，结构如下：
  • filename: 完成文件的路径，数据类型为字符串。
  • content: 完成文件的内容，数据类型为字符串。
• completion_lines: 包含行类别的字典，值为整数列表（要完成的行号），类别包括：
  • committed: 行包含至少一个在提交文件中声明的函数或类。
  • inproject: 行包含至少一个在项目中声明的函数或类（不包括之前的）。
  • infile: 行包含至少一个在完成文件中声明的函数或类（不包括之前的）。
  • common: 行包含至少一个被分类为常见的函数或类（不包括之前的）。
  • non_informative: 被分类为非信息的行，例如太短、包含注释等。
  • random: 从其余行中随机抽样。
• repo_snapshot: 包含提交前仓库快照的字典，结构与 completion_file 相同，但文件名和内容组织为列表。
• completion_lines_raw: 与 completion_lines 相同，但在抽样之前。

分割

• test: 测试集，包含 144 个样本，总字节数为 111010036。

数据集大小

• 下载大小: 37603701 字节
• 数据集大小: 111010036 字节

配置

• default: 默认配置，数据文件路径为 data/test-*。

数据集统计

• 数据点数量: 144
• 仓库数量: 46
• 提交数量: 63

完成文件

• 行数中位数: 310.5
• 行数最小值: 201
• 行数最大值: 1916

仓库快照

• .py 文件数量中位数: 4
• 非 .py 文件数量中位数: 19.5
• .py 文件行数中位数: 128
• 非 .py 文件行数中位数: 1227

行计数

• infile: 1430
• inproject: 95
• common: 500
• committed: 1426
• non-informative: 532
• random: 703
• 总计: 4686