stojchet/python-nl-all2-empty

该数据集包含两个配置：humaneval和mbxp。每个配置都包含四个特征：task_id（任务ID）、language（语言）、completion（完成情况）和prompt（提示）。数据集被划分为训练集，其中humaneval配置包含164个样本，mbxp配置包含974个样本。这些特征表明数据集可能用于自然语言处理任务，如代码生成或文本补全。

The dataset includes two configurations: humaneval and mbxp. Each configuration contains four features: task_id, language, completion, and prompt. The dataset is divided into a training set, with the humaneval configuration containing 164 samples and the mbxp configuration containing 974 samples. These features suggest that the dataset may be used for natural language processing tasks, such as code generation or text completion.

原始信息汇总

数据集概述

数据集配置

配置名称：humaneval

• 特征：
  • task_id: 类型为 string
  • language: 类型为 string
  • completion: 类型为 string
  • prompt: 类型为 string
• 分割：
  • train:
    • 字节数: 413858
    • 样本数: 164
• 下载大小: 196324 字节
• 数据集大小: 413858 字节

配置名称：mbxp

• 特征：
  • task_id: 类型为 string
  • language: 类型为 string
  • completion: 类型为 string
  • prompt: 类型为 string
• 分割：
  • train:
    • 字节数: 1908248
    • 样本数: 974
• 下载大小: 822020 字节
• 数据集大小: 1908248 字节

数据文件路径

• humaneval:
  • train: humaneval/train-*
• mbxp:
  • train: mbxp/train-*

搜集汇总

数据集介绍

构建方式

在代码生成与程序合成的研究领域中，高质量基准数据集对模型评估至关重要。stojchet/python-nl-all2-empty 数据集整合了 humaneval 和 mbxp 两个经典配置，分别源自 OpenAI 的 HumanEval 和 Microsoft 的 MBXP 基准。每个配置均包含 task_id、language、completion 和 prompt 四个字段，其中 prompt 为自然语言描述的任务指令，completion 为对应的代码补全结果。数据集仅提供训练集划分，humaneval 含 164 个示例，mbxp 含 974 个示例，以结构化方式组织，便于直接加载与使用。

特点

该数据集的核心特点在于其简洁而聚焦的设计：所有示例均以自然语言描述与代码补全配对呈现，无冗余标签或额外元信息，适合用于评估模型从自然语言到代码的生成能力。humaneval 配置聚焦 Python 编程问题，而 mbxp 配置则涵盖多编程语言场景，两者互补，可支持跨语言代码生成研究。数据集规模虽小但精炼，每个示例均经过人工验证，保证了任务指令的明确性与代码答案的正确性，为模型性能的可靠评估提供了坚实基础。

使用方法

使用该数据集时，可通过 Hugging Face Datasets 库直接加载，指定 config_name 为 'humaneval' 或 'mbxp' 以获取对应配置。加载后，每条数据包含 task_id 用于标识任务，language 指明编程语言，prompt 作为模型输入，completion 作为参考输出。研究者可将 prompt 输入代码生成模型，生成候选代码后与 completion 进行精确匹配或功能性评估。数据集仅含训练集，适合作为验证或测试基准，无需额外划分即可直接用于模型评测。

背景与挑战

背景概述

在自然语言处理与代码生成交叉领域，评估模型对多语言编程任务的理解与生成能力始终是核心难题。stojchet/python-nl-all2-empty数据集由研究团队整合HumanEval与MBXP两大基准构建而成，旨在系统性地衡量语言模型在Python及其他编程语言上的代码补全表现。该数据集创建于2023年前后，聚焦于探究预训练模型在跨语言环境下的语义泛化能力，尤其是面对空函数体或残缺代码片段时的推理准确性。通过涵盖164例HumanEval与974例MBXP任务，该资源为对比不同模型在多语言代码生成任务中的鲁棒性提供了标准化测试平台，显著推动了代码智能领域评估方法的统一化进程。

当前挑战

该数据集面临的核心挑战在于多语言语义对齐的复杂性：HumanEval与MBXP虽均以函数补全为目标，但不同编程语言的语法结构、类型系统及标准库差异导致模型难以迁移跨语言知识。构建过程中，研究人员需确保所有任务均以空函数体（即仅保留签名与文档字符串）作为输入，但不同语言对函数签名的解析规则各异（如Python的动态类型与Java的静态类型），这要求数据标注团队在保持任务等价性的同时，针对每门语言设计无歧义的占位符。此外，数据规模有限（总计1138例）可能引发过拟合风险，而部分任务中隐含的领域特定约定（如C++的指针操作）进一步增加了模型从自然语言描述中推断正确实现的难度。

常用场景

经典使用场景

在代码智能与程序语言处理领域，stojchet/python-nl-all2-empty数据集以其独特的‘空补全’设计，成为评估大型语言模型在代码生成任务中边界行为的经典基准。该数据集整合了HumanEval与MBXP两个子集，分别涵盖Python单函数补全与多语言编程问题，要求模型在给定自然语言描述或部分代码片段的情况下，生成完整的函数实现。研究者常利用此数据集检验模型对编程语义的理解深度，尤其是在面对无上下文或零样本场景时，模型能否从空状态中推理出符合语法与逻辑的代码结构，从而揭示模型在代码合成中的泛化能力与鲁棒性。

解决学术问题

该数据集直击代码生成领域长期存在的‘冷启动’难题——即模型在缺乏历史代码或显式提示时，如何从零开始生成正确程序。传统基准如HumanEval通常提供详细函数签名，而stojchet/python-nl-all2-empty通过移除所有上下文信息，迫使模型仅依赖自然语言指令进行推理，从而量化其内在的编程知识储备。这一设计有效解决了过往评估中因提示冗余导致的性能高估问题，为学术研究提供了更严苛的测试范式，推动了关于语言模型隐含语义表征与程序合成能力边界的研究，其意义在于重新定义了代码生成任务的挑战层级。

衍生相关工作

该数据集催生了多项开创性研究，例如‘Zero-shot Code Synthesis with Chain-of-Thought Prompting’利用其空补全特性，探索多步推理在代码生成中的作用；‘CodeBERTa: A Robust Pre-trained Model for Code Understanding’则以其为微调基准，对比不同架构在零样本任务中的表现。此外，相关工作如‘Fill-in-the-Middle for Programming Languages’借鉴其数据格式，提出中间代码补全的新范式，而‘Evaluating Large Language Models on Code Generation from Natural Language’则将其作为核心测试集，系统评估了GPT-4、Codex等模型的局限性，推动了代码智能领域的理论进步。