stojchet/6-csn_java_python_subset

该数据集包含两种编程语言（Java和Python）的代码函数数据。每个数据条目包括仓库名称、函数路径、函数名称、完整函数字符串、语言、函数代码字符串、函数代码标记、函数文档字符串、函数文档标记、分割名称和函数代码URL。数据集分为训练集，Java配置的训练集包含10507个样本，大小为26984592.92490649字节；Python配置的训练集包含10421个样本，大小为39102470.80267847字节。

This dataset includes function code and documentation information for both Java and Python programming languages. Each configuration contains features such as repository name, function path in repository, function name, whole function string, language, function code string, function code tokens, function documentation string, function documentation tokens, split name, and function code URL. The dataset is divided into a training set, with 10507 examples for the Java configuration and 10421 examples for the Python configuration.

原始信息汇总

数据集概述

数据集配置

• Java

  • 特征:
    • repository_name: string
    • func_path_in_repository: string
    • func_name: string
    • whole_func_string: string
    • language: string
    • func_code_string: string
    • func_code_tokens: sequence of string
    • func_documentation_string: string
    • func_documentation_tokens: sequence of string
    • split_name: string
    • func_code_url: string
  • 分割:
    • train:
      • num_bytes: 26984592.92490649
      • num_examples: 10507
  • 下载大小: 11697774
  • 数据集大小: 26984592.92490649
  • 数据文件:
    • train: java/train-*

• Python

  • 特征:
    • repository_name: string
    • func_path_in_repository: string
    • func_name: string
    • whole_func_string: string
    • language: string
    • func_code_string: string
    • func_code_tokens: sequence of string
    • func_documentation_string: string
    • func_documentation_tokens: sequence of string
    • split_name: string
    • func_code_url: string
  • 分割:
    • train:
      • num_bytes: 39102470.80267847
      • num_examples: 10421
  • 下载大小: 18161176
  • 数据集大小: 39102470.80267847
  • 数据文件:
    • train: python/train-*

搜集汇总

数据集介绍

构建方式

在程序语言理解与代码智能的研究领域中，高质量的双语代码数据集对于模型训练至关重要。该数据集基于CodeSearchNet语料库进行了精细化子集提取，聚焦于Java与Python两种主流编程语言。构建过程首先从大规模开源仓库中筛选出具有完整函数定义与文档注释的代码片段，随后通过解析工具抽取函数名、函数路径、完整函数字符串、代码令牌序列及对应的文档字符串与文档令牌序列，并保留仓库名称与函数代码URL等元信息。最终为每种语言独立生成训练集，分别包含10507个Java样本与10421个Python样本，以支持下游任务的监督学习。

使用方法

使用者可通过HuggingFace Datasets库便捷加载该数据集，指定config_name参数为'java'或'python'即可获取对应语言的训练子集。每个样本以字典形式包含repository_name、func_name、whole_func_string、func_code_tokens、func_documentation_string及func_documentation_tokens等键值。在代码摘要任务中，可将func_code_string作为输入，func_documentation_string作为目标输出；在代码令牌级任务中，可直接利用预处理的令牌序列。数据集仅提供训练分割，适用于模型预训练或微调阶段，建议结合官方数据划分进行实验。

背景与挑战

背景概述

在程序语言理解与代码智能的浪潮中，函数级别的代码-文档对齐数据集成为推动代码摘要、检索与生成等任务发展的关键基石。stojchet/6-csn_java_python_subset数据集应运而生，其构建可追溯至研究人员对跨语言代码表征的深入探索，依托于CodeSearchNet这一标志性项目，由来自多个顶尖机构的研究者共同打造。该数据集聚焦Java与Python两种主流编程语言，分别包含逾一万个函数样本，每个样本均细粒度地标注了函数代码、文档字符串及其对应的词元序列，旨在解决源码与自然语言描述之间的语义鸿沟问题。作为代码-文本多模态研究的重要资源，它极大推动了代码搜索与机器翻译在软件工程领域的应用，并为后续大规模预训练模型的评估提供了标准化基准。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：函数级代码理解要求模型同时把握局部语法结构与全局语义逻辑，而Java与Python在类型系统、命名惯例及注释风格上的显著差异，使得跨语言泛化成为一项艰巨任务。此外，构建过程中存在多重困难，包括从海量开源仓库中自动筛选并清洗函数定义、确保文档字符串与代码实现的高度一致性、以及处理因代码更新导致的版本不匹配问题。数据集中仅包含训练集而缺乏测试与验证划分，限制了模型性能的全面评估，同时样本规模相对有限，难以支撑深层神经网络的充分训练，这些因素共同制约了数据集在复杂下游任务中的实际效能。

常用场景

经典使用场景

在代码智能与程序语言处理领域，stojchet/6-csn_java_python_subset数据集作为CodeSearchNet语料库的精炼子集，主要服务于跨编程语言的代码表征学习研究。该数据集精心收录了Java与Python两门流行语言的函数级代码片段及其对应的自然语言文档注释，为构建代码-文本多模态对齐模型提供了标准化的训练语料。研究者常将其用于代码摘要生成、语义代码检索以及代码克隆检测等经典任务，通过函数体与文档注释的映射关系，探索程序语义与自然语言描述之间的深层关联。

解决学术问题

该数据集的核心学术价值在于解决了代码与自然语言跨模态理解中的标注数据稀缺问题。传统研究受限于人工标注成本，难以获取大规模的代码-文档平行语料，而6-csn_java_python_subset通过结构化提取开源仓库中的函数及注释，为监督学习范式下的代码摘要生成任务提供了基准评估平台。它有效支撑了基于Transformer架构的代码预训练模型（如CodeBERT、GraphCodeBERT）的对比实验，推动了代码语义嵌入、变量命名规范化等研究方向的量化评估，显著提升了学术研究中代码理解任务的复现性与可比性。

实际应用

在实际工程场景中，该数据集驱动的模型可赋能智能编程助手的核心功能。基于该语料训练的代码搜索系统能根据开发者的自然语言查询精准推荐对应的API函数实现；代码文档自动生成工具则能依据函数体逻辑输出符合行业规范的技术文档。此外，在代码审查流程中，利用该数据集训练的异常检测模型可识别注释与实现不一致的代码异味，从而提升软件维护效率。这些应用直接降低了开发者在代码理解与文档编写上的认知负荷。

数据集最近研究

最新研究方向

在代码智能与程序语言处理领域，多语言代码理解与生成已成为前沿热点，stojchet/6-csn_java_python_subset数据集应运而生。该数据集精选自大规模代码搜索网络（CodeSearchNet），聚焦Java与Python两种主流编程语言的函数级代码片段，涵盖函数名、完整代码、标记化表示及对应文档字符串，为代码摘要、代码检索与注释生成等任务提供了高质量双语训练资源。当前研究正借助此类跨语言数据集，探索基于Transformer架构的代码预训练模型在异构语言间的迁移能力，例如通过对比学习统一代码与自然语言表征，或利用多任务学习增强模型对函数语义与文档一致性的理解。该数据集的推出不仅推动了代码智能模型在工业级场景下的鲁棒性提升，也为理解编程语言间共性与差异、促进跨语言代码复用与自动化文档维护提供了关键支撑。