stojchet/python-k3-sft8-empty

该数据集包含两个配置：humaneval和mbxp。每个配置都包含任务ID、语言、完成情况和提示，均为字符串类型。humaneval配置的训练集有164个样本，总字节数为403557字节；mbxp配置的训练集有974个样本，总字节数为1965872字节。

The dataset includes two configurations: humaneval and mbxp. Each configuration contains features such as task_id, language, completion, and prompt, all of which are string types. The humaneval configuration has 164 samples in the training set with a total byte size of 403557 bytes; the mbxp configuration has 974 samples in the training set with a total byte size of 1965872 bytes.

原始信息汇总

数据集概述

数据集配置

配置1: humaneval

• 特征:
  • task_id: 字符串类型
  • language: 字符串类型
  • completion: 字符串类型
  • prompt: 字符串类型
• 分割:
  • train:
    • 字节数: 403557
    • 样本数: 164
• 下载大小: 185468 字节
• 数据集大小: 403557 字节
• 数据文件:
  • train: humaneval/train-*

配置2: mbxp

• 特征:
  • task_id: 字符串类型
  • language: 字符串类型
  • completion: 字符串类型
  • prompt: 字符串类型
• 分割:
  • train:
    • 字节数: 1965872
    • 样本数: 974
• 下载大小: 840225 字节
• 数据集大小: 1965872 字节
• 数据文件:
  • train: mbxp/train-*

搜集汇总

数据集介绍

构建方式

在代码智能与程序合成领域，高质量的对齐数据是提升语言模型代码生成能力的关键资源。stojchet/python-k3-sft8-empty数据集通过整合两个经典基准测试集HumanEval和MBXP构建而成。HumanEval部分包含164个手写编程问题，每个样本由任务标识、编程语言、参考补全代码及提示信息组成；MBXP部分则扩展至974个跨语言编程任务，覆盖多种编程语言的代码补全场景。数据集以监督微调格式组织，所有样本均保留原始任务结构与语言标签，确保模型能够在多样化的编程任务上进行有效学习。

特点

该数据集最显著的特点在于其简洁而聚焦的结构设计。每个样本仅包含task_id、language、completion和prompt四个核心字段，去除了冗余信息，使得数据加载与处理极为高效。HumanEval和MBXP两个子集分别侧重单语言代码补全与多语言泛化能力评估，总样本量达1138条，覆盖从基础算法到复杂逻辑的编程任务。数据集仅提供训练分割，专为监督微调场景优化，避免了训练-验证划分的复杂性，适合快速迭代模型。

使用方法

使用该数据集时，可通过HuggingFace Datasets库按配置名加载特定子集，例如选择humaneval或mbxp配置。加载后的数据以字典形式返回，包含task_id、language、prompt和completion字段，可直接用于语言模型的输入输出构建。建议将prompt作为模型输入，completion作为目标输出，进行标准的序列到序列微调。由于数据集已预分割为训练集，用户无需额外划分，可直接用于训练循环。对于多语言场景，可合并两个配置的数据进行联合训练，以增强模型的跨语言代码生成能力。

背景与挑战

背景概述

该数据集由研究者stojchet构建，旨在推动代码生成领域的发展，核心聚焦于Python编程语言的指令微调与空输出场景的评估。数据集创建于近期，整合了HumanEval与MBXP两大基准测试的样本，前者包含164个手写编程问题以评估功能正确性，后者则涵盖974个跨语言编程任务，强调多语言泛化能力。研究团队通过精心设计prompt-completion对，探索大型语言模型在零样本或少样本条件下生成可执行代码的能力。这一资源填补了针对空输出（即模型需在特定约束下不生成内容）这一特殊情境的评测空白，为理解模型鲁棒性提供了关键视角，对代码智能领域的可解释性与安全性研究具有重要启示。

当前挑战

当前数据集面临的核心挑战体现在两个维度：其一，领域问题层面，代码生成任务需解决语义理解与语法约束之间的平衡，HumanEval与MBXP的题目要求模型不仅理解自然语言描述，还需生成符合预期行为的精确代码，尤其在空输出场景中，模型易产生幻觉或过度生成，导致功能失效。其二，构建过程中，数据集的规模有限（总计1138个样本），可能难以充分覆盖多样化的编程范式与边界情况，且依赖人工标注的prompt与completion对存在主观偏差，影响泛化评估的客观性。此外，跨语言任务（MBXP）的配置差异加剧了模型对编程语言惯用法的适配难度，空输出条件与其他约束的耦合进一步提升了评测的复杂性。

常用场景

经典使用场景

在代码生成与程序合成领域，stojchet/python-k3-sft8-empty数据集凭借其精心设计的HumanEval和MBXP子集，成为评估大型语言模型代码生成能力的基准测试平台。研究者常利用该数据集中的任务描述（prompt）与标准答案（completion），对模型进行监督微调或零样本评估，以检验其对Python及多语言编程语义的理解与泛化能力。该数据集尤适用于衡量模型在函数级代码补全、算法逻辑推理以及跨语言迁移学习等经典场景中的表现。

解决学术问题

该数据集致力于解决代码生成领域长期存在的评估标准化缺失问题。通过提供HumanEval（164例）与MBXP（974例）两套高质量标注样本，它系统性地填补了现有基准在任务规模与语言多样性上的空白。学术研究中，其核心价值在于量化模型对编程问题语义的精准理解、对隐含约束的遵循程度以及生成代码的功能正确性，从而推动了从简单语法匹配到深层逻辑推理的评估范式演进。这一标准化工具显著降低了不同研究之间结果对比的歧义性，为代码智能的实证研究奠定了坚实基础。

衍生相关工作

该数据集衍生了一系列具有深远影响的经典工作，例如OpenAI的Codex模型基于HumanEval进行能力评估，揭示了预训练语言模型在代码生成上的强大潜力。随后，Meta的InCoder与Salesforce的CodeGen等模型均采用MBXP作为多语言代码生成的关键评测基准。这些工作不仅验证了该数据集在零样本与少样本学习场景中的有效性，还催生了诸如CodeBERT、GraphCodeBERT等面向代码语义的预训练模型。此外，该数据集还推动了代码生成领域的对抗性测试与鲁棒性分析研究，促使学界更系统地审视模型在复杂编程任务中的局限性。