stojchet/python-k4-sft8-empty

该数据集包含两个配置：humaneval和mbxp。每个配置都包含任务ID、语言、完成情况和提示信息，均为字符串类型。humaneval配置的训练集包含164个样本，总字节数为501475；mbxp配置的训练集包含974个样本，总字节数为2351435。

The dataset includes two configurations: humaneval and mbxp. Each configuration contains features such as task_id, language, completion, and prompt, all of which are string types. The humaneval configurations training set includes 164 samples with a total byte size of 501475; the mbxp configurations training set includes 974 samples with a total byte size of 2351435.

原始信息汇总

数据集概述

数据集配置

配置1: humaneval

• 特征:
  • task_id: 类型为字符串
  • language: 类型为字符串
  • completion: 类型为字符串
  • prompt: 类型为字符串
• 分割:
  • train:
    • 字节数: 501475
    • 样本数: 164
• 下载大小: 236346 字节
• 数据集大小: 501475 字节
• 数据文件路径:
  • train: humaneval/train-*

配置2: mbxp

• 特征:
  • task_id: 类型为字符串
  • language: 类型为字符串
  • completion: 类型为字符串
  • prompt: 类型为字符串
• 分割:
  • train:
    • 字节数: 2351435
    • 样本数: 974
• 下载大小: 1001004 字节
• 数据集大小: 2351435 字节
• 数据文件路径:
  • train: mbxp/train-*

搜集汇总

数据集介绍

构建方式

在代码智能与程序合成领域，高质量的数据集是评估和提升模型代码生成能力的关键基石。stojchet/python-k4-sft8-empty 数据集融合了 HumanEval 与 MBXP 两大经典基准，旨在为代码补全与生成任务提供标准化测试资源。该数据集采用多配置结构，其中 humaneval 配置包含 164 个样本，mbxp 配置包含 974 个样本，每个样本均以字符串形式存储任务标识符、编程语言、补全代码及提示文本。数据按训练集划分，以分片形式组织，便于高效加载与分布式处理。

特点

该数据集兼具规模精简与语言多样性的显著优势。HumanEval 部分聚焦于 Python 语言的函数级代码补全，而 MBXP 部分则覆盖多种编程语言，拓展了跨语言代码生成评估的边界。每条数据均包含明确的 task_id 用于追踪来源，prompt 字段提供上下文提示，completion 字段存储目标代码，结构清晰且标准化程度高。数据集整体体积较小，适合快速迭代实验，同时保持了任务难度与场景代表性，是验证代码大模型基础能力的理想选择。

使用方法

使用该数据集时，可通过 Hugging Face Datasets 库加载指定配置，例如利用 load_dataset 函数选择 'humaneval' 或 'mbxp' 子集。加载后，可直接访问 train 分片中的 task_id、language、completion 和 prompt 字段，用于构建代码补全任务的输入输出对。研究人员可基于 prompt 生成代码，并与 completion 进行匹配评估，或进一步结合语言字段进行多语言性能分析。数据分片存储方式支持流式读取，便于在内存受限环境下进行大规模实验。

背景与挑战

背景概述

在代码生成与程序合成这一前沿研究领域，评估模型对编程语言的理解与生成能力始终是核心挑战之一。stojchet/python-k4-sft8-empty数据集由研究团队精心构建，旨在为自然语言到代码的转换任务提供标准化测试基准。该数据集整合了HumanEval与MBXP两大经典评测集，其中HumanEval由OpenAI于2021年提出，包含164个手写编程问题，侧重于函数级代码补全；MBXP则扩展了多语言场景，涵盖974个样本，支持跨语言泛化能力评估。该数据集的出现，为对比不同规模语言模型在Python代码生成上的表现提供了统一平台，尤其对指令微调后的模型性能验证具有重要参考价值，推动了代码智能领域从单一任务向多语言、多场景的纵深发展。

当前挑战

该数据集所解决的领域问题主要集中于代码生成模型的鲁棒性与泛化能力评估，其挑战体现在多个层面。首先，HumanEval与MBXP任务要求模型在给定函数签名与文档字符串的条件下生成正确且高效的代码，这对模型理解复杂逻辑与API调用的能力提出了严峻考验，尤其当测试用例覆盖边界条件时。其次，数据集构建过程中面临标注一致性难题：原始问题的手工编写需确保无歧义，且测试用例的完备性直接影响评估结果的可靠性。此外，多语言场景下（如MBXP）的跨语言迁移学习挑战显著，模型需克服语法差异与库函数名称变化带来的干扰。最后，数据集的规模有限（总计仅千余样本），可能导致评估结果受随机性影响，需配合多次采样与统计检验以确保结论稳健。

常用场景

经典使用场景

在代码智能与程序合成领域，stojchet/python-k4-sft8-empty数据集凭借其精心编排的HumanEval与MBXP双配置，成为评估代码生成模型泛化能力与多语言编程性能的经典基准。该数据集涵盖Python、Java、JavaScript等多种编程语言的任务提示与正确补全，研究者可基于其标准化的task_id与prompt结构，系统性地测试模型在函数级代码生成、语义理解及跨语言迁移上的表现，从而推动代码语言模型在复杂编程任务中的鲁棒性提升。

解决学术问题

该数据集有效解决了代码生成领域长期存在的评估标准碎片化与语言覆盖不足的学术困境。通过整合HumanEval的Python单语言测试与MBXP的多语言扩展，它为研究者提供了统一、可复现的对比框架，使得模型在函数正确性、语法合规性及跨语言一致性上的性能差异得以量化。这一贡献显著促进了代码预训练模型（如Codex、CodeGen）的公平比较，并推动了关于程序合成中语言无关表征学习的理论探索。

衍生相关工作

基于该数据集，学术界涌现了一系列标志性工作，例如针对HumanEval的Pass@k评估指标改进研究、面向MBXP的多语言代码生成对比分析，以及结合指令微调与强化学习的代码模型优化方案。这些衍生研究不仅深化了我们对代码生成模型泛化边界与失败模式的理解，还催生了如CodeLlama、StarCoder等更先进的开源模型，进一步推动了代码智能领域的范式演进。