stojchet/java-jd4-empty

该数据集包含两个配置：humaneval和mbxp。每个配置都包含任务ID、语言、完成代码和提示等特征，数据类型均为字符串。数据集仅包含训练集，并提供了每个配置的字节数和示例数。humaneval配置的训练集包含161个示例，大小为378140字节；mbxp配置的训练集包含966个示例，大小为1865004字节。

The dataset includes two configurations: humaneval and mbxp. Each configuration contains features such as task_id, language, completion, and prompt, all of which are of string type. The dataset only includes the training set, and provides the number of bytes and examples for each configuration. The training set of the humaneval configuration contains 161 examples with a size of 378140 bytes; the training set of the mbxp configuration contains 966 examples with a size of 1865004 bytes.

原始信息汇总

数据集概述

数据集配置

配置名称：humaneval

• 特征：
  • task_id：字符串类型
  • language：字符串类型
  • completion：字符串类型
  • prompt：字符串类型
• 分割：
  • train：
    • 字节数：378140
    • 样本数：161
• 下载大小：149776 字节
• 数据集大小：378140 字节
• 数据文件路径：
  • train：humaneval/train-*

配置名称：mbxp

• 特征：
  • task_id：字符串类型
  • language：字符串类型
  • completion：字符串类型
  • prompt：字符串类型
• 分割：
  • train：
    • 字节数：1865004
    • 样本数：966
• 下载大小：630748 字节
• 数据集大小：1865004 字节
• 数据文件路径：
  • train：mbxp/train-*

搜集汇总

数据集介绍

构建方式

在代码生成与程序合成研究领域，高质量基准数据集对于评估模型能力至关重要。stojchet/java-jd4-empty数据集整合了HumanEval与MBXP两个经典基准测试的Java版本，通过标准化处理构建而成。其中HumanEval配置包含161个手写编程问题，每个样本由任务标识符、编程语言、代码补全目标及问题提示组成；MBXP配置则收录了966个跨语言编程任务，同样保留了完整的结构化字段。数据集以分片形式存储，便于高效加载与分布式处理。

特点

该数据集的核心特色在于双配置设计，覆盖了不同规模与复杂度的编程任务场景。HumanEval部分专注于单函数级别的代码合成评估，样本精炼且问题表述清晰；MBXP部分则扩展至更多样化的编程挑战，包含更丰富的上下文信息。所有样本均统一采用task_id、language、completion与prompt四字段结构，其中completion字段存储标准答案，prompt字段提供问题描述，这种规范化设计使得数据集可直接用于监督式微调与评估。

使用方法

研究者可通过HuggingFace Datasets库便捷加载该数据集，使用load_dataset函数指定配置名称为'humaneval'或'mbxp'即可获取对应分片。加载后的数据集以训练集形式提供，可直接用于代码生成模型的训练与评测。典型应用场景包括：基于prompt字段作为输入，以completion字段作为目标输出进行序列到序列的监督学习；或利用task_id与language字段进行多任务与跨语言代码生成研究。数据集支持标准的训练-验证划分，方便复现基准实验。

背景与挑战

背景概述

在代码生成与程序合成领域，评估大型语言模型在特定编程语言上的表现已成为研究热点。stojchet/java-jd4-empty数据集由研究人员针对Java语言设计，整合了HumanEval与MBXP两个经典基准测试的子集，旨在系统性地衡量模型从自然语言描述生成正确Java代码的能力。该数据集创建于大型语言模型快速迭代的时期，核心研究问题聚焦于模型在Java语言上的泛化性、对空方法体（empty completion）的处理能力，以及跨任务的一致性表现。通过提供标准化prompt与completion对，它为Java代码生成任务提供了细粒度的评测基准，推动了该领域从通用多语言评估向特定语言深度分析的演进。

当前挑战

该数据集面临的挑战首先体现在领域问题层面：Java代码生成任务中，模型需准确理解自然语言描述中的逻辑约束与类型系统，尤其在处理空方法体时容易产生语法错误或语义偏差，这要求模型具备对Java语言规范的深度理解。其次，构建过程中面临标注一致性的挑战，不同来源的HumanEval与MBXP示例在任务复杂度、描述粒度上存在差异，需确保prompt与completion的对应关系严格符合Java语法，同时避免因空方法体引入的歧义。此外，数据集规模有限（合计仅1127个样本），可能不足以覆盖Java生态中常见的库调用、异常处理等复杂场景，限制了模型鲁棒性的全面评估。

常用场景

经典使用场景

在代码智能与程序合成的研究领域中，stojchet/java-jd4-empty数据集凭借其精心设计的Java代码补全与生成任务，成为评估大语言模型在编程语言理解与生成能力的经典基准。该数据集整合了HumanEval与MBXP两个子集，前者侧重于函数级程序合成，后者则扩展至多语言场景下的代码生成挑战，为研究者提供了从单一语言到跨语言泛化的多层次评测框架。其核心使用场景在于衡量模型能否根据自然语言描述或部分代码上下文，准确生成语义正确、语法规范的Java代码片段。

实际应用

在实际应用中，stojchet/java-jd4-empty数据集为自动化软件开发工具链的优化提供了关键支撑。基于该数据集训练的代码补全模型可集成至集成开发环境（IDE）中，辅助程序员在编写Java代码时实时预测下一个Token或完整函数体，从而提升编码效率与代码质量。此外，该数据集还赋能了代码审查、缺陷检测与程序修复等下游任务，通过生成高质量的候选代码片段，显著降低了软件开发中的人工干预成本。

衍生相关工作

该数据集催生了多项具有深远影响的经典研究工作。例如，基于HumanEval子集的Codex模型系列首次证明了大规模语言模型在程序合成任务上的突破性性能，而MBXP子集则推动了多语言代码生成模型如CodeGen、InCoder的跨语言能力研究。此外，围绕该数据集的评估范式，研究者进一步提出了执行一致性测试与语义等价性度量等创新方法，为代码智能领域的评测体系奠定了方法论基础，并启发了后续如DS-1000、APPS等更复杂代码评测基准的构建。