github-java-corpus

github-java-corpus 是一个用于预训练的Java源代码文本样本数据集。该数据集从Project CodeNet数据集派生而来，经过处理以适合预训练任务。数据集包含2118890个训练样本，每个样本对应一个Java源文件，并以JSONL格式存储。主要字段包括Source（数据集名称）、Date（年份标签）、Text（纯文本样本）和Token_count（使用tiktoken计算的令牌计数）。数据集适用于文本生成任务，特别关注Java代码相关的预训练场景。数据处理步骤包括提取Java源文件、移除生成文件、转换为JSONL格式、计算令牌计数并上传为Hugging Face数据集。使用该数据集时需引用原始的Project CodeNet数据集。