RefineCode-code-corpus-meta
收藏资源简介：
该数据集包含来自RefineCode的原始代码数据的元信息，包括仓库名称和文件路径。数据集展示了比The Stack V2训练子集更好的训练效果和效率。目前上传了The Stack V2覆盖的元数据（约50%的文件量），正在努力使剩余部分可用。RefineCode是一个高质量、可复制的代码预训练语料库，包含960亿个标记，涵盖607种编程语言和750亿个与代码相关的标记，结合了130多种特定语言的规则和自定义权重分配。
This dataset contains metadata of raw code data sourced from RefineCode, including repository names and file paths. It demonstrates better training performance and efficiency compared to the training subset of The Stack V2. Currently, metadata covered by The Stack V2 (approximately 50% of the total file volume) has been uploaded, and efforts are underway to make the remaining portion accessible. RefineCode is a high-quality, reproducible code pre-training corpus that includes 96 billion tokens spanning 607 programming languages, along with 75 billion code-related tokens, and incorporates over 130 language-specific rules and custom weight allocation schemes.
RefineCode 代码语料库元数据集
数据集概述
该数据集包含来自 RefineCode 的原始代码数据的元信息，包括仓库名称和文件路径。用户可以参考这些元数据收集文件，以重现 RefineCode。
数据集特征
- repo_name: 仓库名称，数据类型为字符串。
- sub_path: 子路径，数据类型为字符串。
- file_name: 文件名，数据类型为字符串。
- file_ext: 文件扩展名，数据类型为字符串。
- file_size_in_byte: 文件大小（字节），数据类型为整数（int64）。
- line_count: 行数，数据类型为整数（int64）。
- lang: 语言，数据类型为字符串。
- program_lang: 编程语言，数据类型为字符串。
- doc_type: 文档类型，数据类型为字符串。
数据集分割
- The_Stack_V2: 包含 46,577,045,485 字节的数据，共有 336,845,710 个样本。
数据集大小
- 下载大小: 20,019,085,005 字节。
- 数据集大小: 46,577,045,485 字节。
配置
- default: 数据文件路径为
data/The_Stack_V2-*。
数据集特点
- 高质量: RefineCode 是一个高质量的代码预训练语料库。
- 可重现: 用户可以根据元数据重现 RefineCode。
- 规模: 包含 9600 亿个标记，涵盖 607 种编程语言，750 亿个与代码相关的标记。
- 规则: 包含超过 130 种特定语言的规则，并具有自定义权重分配。
数据集优势
- 训练效率: 与 The Stack V2 的训练子集相比，RefineCode 显示出更好的训练效率和效果。
- 可视化: 使用 PCA 对从 CodeBERT 提取的嵌入进行可视化，显示 RefineCode 在预训练数据集上的明显优势。
