stojchet/python-ndpo1-empty

该数据集包含两个部分：humaneval 和 mbxp。每个部分都包括任务ID、语言、完成情况和提示等字段的信息。humaneval部分有164个训练示例，大小为255202字节；mbxp部分有974个训练示例，大小为1275954字节。数据集的总下载大小为708271字节。

The dataset consists of two parts: humaneval and mbxp. Each part includes information fields such as task ID, language, completion, and prompt. The humaneval section has 164 training examples with a size of 255202 bytes; the mbxp section has 974 training examples with a size of 1275954 bytes. The total download size of the dataset is 708271 bytes.

原始信息汇总

数据集概述

数据集配置

配置名称：humaneval

• 特征：
  • task_id: 类型为 string
  • language: 类型为 string
  • completion: 类型为 string
  • prompt: 类型为 string
• 分割：
  • train:
    • 字节数: 255202
    • 样本数: 164
• 下载大小: 129348 字节
• 数据集大小: 255202 字节

配置名称：mbxp

• 特征：
  • task_id: 类型为 string
  • language: 类型为 string
  • completion: 类型为 string
  • prompt: 类型为 string
• 分割：
  • train:
    • 字节数: 1275954
    • 样本数: 974
• 下载大小: 578921 字节
• 数据集大小: 1275954 字节

数据文件路径

配置名称：humaneval

• 数据文件：
  • train: humaneval/train-*

配置名称：mbxp

• 数据文件：
  • train: mbxp/train-*

搜集汇总

数据集介绍

构建方式

在代码生成与程序合成领域，高质量基准数据集是评估模型能力的关键基石。stojchet/python-ndpo1-empty 数据集通过整合两个广泛认可的编程挑战基准——HumanEval 与 MBXP——而构建，旨在为Python代码补全任务提供标准化的评测资源。该数据集采用双层配置结构：humaneval 配置包含164个样本，mbxp 配置包含974个样本，所有样本均以统一的特征格式存储，涵盖任务标识符、编程语言、待补全代码片段及提示文本。数据集以Parquet格式分片存储，便于高效加载与分布式处理。

特点

该数据集的核心特色在于其双基准的融合设计，兼具多样性与代表性。HumanEval 部分聚焦于函数级代码补全，强调对算法逻辑与边界条件的理解；MBXP 部分则扩展至多语言场景，尽管当前仅保留Python语言子集，但其任务类型更为丰富。数据集所有样本均经过预清洗，字段结构简洁一致，无冗余标注，适合直接用于评估代码生成模型的零样本或少样本能力。此外，训练集仅包含单一分割，简化了实验流程，避免了训练-验证集划分的复杂性。

使用方法

使用该数据集时，可通过HuggingFace Datasets库加载，指定配置名称（humaneval或mbxp）以访问对应子集。加载后的数据集以字典形式返回，包含task_id、language、completion和prompt四个字段。研究者可将prompt字段作为模型输入，生成补全代码，并与completion字段中的参考实现进行比对。该数据集适用于自动化评估流水线，例如通过pass@k指标衡量代码生成准确性。由于不包含额外元数据，用户需自行实现评估逻辑或集成至现有基准测试框架中。

背景与挑战

背景概述

在程序合成与代码生成领域，大规模语言模型的涌现能力使得从自然语言描述自动生成可执行代码成为可能，但评估这些模型在多样化编程语言上的泛化性能仍是一大难题。为此，stojchet/python-ndpo1-empty数据集应运而生，其创建时间可追溯至2023年前后，由致力于代码智能研究的团队构建，旨在提供一个多语言、多任务的基准测试平台。该数据集整合了HumanEval与MBXP两个经典配置，分别涵盖Python及其他编程语言的函数级代码补全任务，核心研究问题聚焦于衡量模型在跨语言环境下的功能正确性与鲁棒性。通过引入164个HumanEval样本与974个MBXP样本，该数据集为后续研究提供了标准化评估框架，推动了代码生成模型从单一语言向多语言泛化的实证进展。

当前挑战

该数据集所解决的领域问题在于代码生成模型面临的多语言适配与功能忠实度挑战：现有模型在单一语言上表现优异，但迁移至其他编程语言时常出现语法错误或逻辑偏差，HumanEval与MBXP的联合评估恰好暴露了这一短板。构建过程中，团队需应对跨语言任务对齐的复杂性，例如确保不同语言版本的prompt语义等价且测试用例覆盖边缘情况，同时需平衡样本规模与标注质量——仅974个MBXP样本虽能初步反映多语言能力，但难以涵盖语言特性差异带来的长尾问题。此外，数据集仅提供训练分割而无验证或测试集，可能限制模型调优与泛化性能的全面评估，这构成了后续使用中的潜在瓶颈。

常用场景

经典使用场景

在代码智能与程序合成领域，stojchet/python-ndpo1-empty数据集承载着两个经典基准测试——HumanEval和MBXP，它们被广泛用于评估大语言模型在代码生成任务上的能力。研究者通常利用该数据集中的编程问题提示（prompt），要求模型生成功能正确的代码补全（completion），以衡量模型对语义理解、逻辑推理及编程语法的掌握程度。HumanEval提供164道手写Python编程题，侧重函数级代码合成；MBXP则扩展至多语言场景，包含974个样本，覆盖不同编程范式。这一配置使得数据集成为检验模型泛化性与代码准确性的标准测试床。

实际应用

在实际研发场景中，该数据集所代表的评估框架被直接应用于AI辅助编程工具的质检流程。例如，企业利用HumanEval与MBXP作为核心基准，测试内部代码助手（如GitHub Copilot、Codex类产品）在真实开发任务上的可靠性，筛选出易产生语法错误或逻辑漏洞的模型版本。此外，教育技术平台借助该数据集的题目设计编程练习的自动评分系统，通过比对模型生成代码与标准答案的功能等价性，实现对学生提交代码的智能评判，从而降低人工批改成本并提升反馈效率。

衍生相关工作

基于该数据集，学术界涌现出多项里程碑式的工作。OpenAI的Codex论文首次将HumanEval作为主要评估集，验证了大规模语言模型在代码合成上的惊人潜力，直接催生了GitHub Copilot的商业化落地。后续研究如CodeGen、InCoder、StarCoder等均以该数据集为基准，探索代码语料预训练、指令微调及多任务学习对生成质量的影响。MBXP的引入则激发了跨语言代码智能的研究热潮，衍生出如CodeBERT的多语言版本、XLCoST等跨语言代码翻译与生成工作，推动了编程语言无关的代码理解与生成技术从理论走向实践。