stojchet/python-sft_kto_no_ref-empty

该数据集包含两个配置：humaneval和mbxp。每个配置都包含以下特征：task_id（任务ID）、language（语言）、completion（完成情况）和prompt（提示），所有特征的数据类型均为字符串。每个配置都有训练集（train），并提供了相应的字节数和示例数量。此外，还提供了下载大小和数据集大小。

The dataset includes two configurations: humaneval and mbxp. Each configuration contains the following features: task_id, language, completion, and prompt, all of which are of string data type. Each configuration has a training set (train) with the corresponding number of bytes and examples. Additionally, the download size and dataset size are provided.

原始信息汇总

数据集概述

数据集配置

配置名称：humaneval

• 特征：
  • task_id: 类型为 string
  • language: 类型为 string
  • completion: 类型为 string
  • prompt: 类型为 string
• 分割：
  • train:
    • 字节数: 344402
    • 样本数: 164
• 下载大小: 166366 字节
• 数据集大小: 344402 字节
• 数据文件路径: humaneval/train-*

配置名称：mbxp

• 特征：
  • task_id: 类型为 string
  • language: 类型为 string
  • completion: 类型为 string
  • prompt: 类型为 string
• 分割：
  • train:
    • 字节数: 1682538
    • 样本数: 974
• 下载大小: 715143 字节
• 数据集大小: 1682538 字节
• 数据文件路径: mbxp/train-*

搜集汇总

数据集介绍

构建方式

在代码智能与程序合成领域，高质量的数据集是驱动模型性能提升的关键基石。stojchet/python-sft_kto_no_ref-empty 数据集通过整合两个经典的代码生成基准任务构建而成，分别为 HumanEval 和 MBXP。HumanEval 部分包含 164 个训练样本，涵盖函数级代码补全任务，每个样本由任务标识符、编程语言、代码补全结果及提示词组成。MBXP 配置则扩展至 974 个样本，在跨语言编程场景下提供更丰富的任务多样性。数据集以 HuggingFace Datasets 格式组织，采用分片存储策略，确保高效加载与处理。

特点

该数据集的核心特点在于其精炼而聚焦的构成。HumanEval 与 MBXP 均聚焦于代码补全任务，但覆盖不同语言与问题难度，形成互补。所有样本均包含结构化的四字段格式——task_id、language、completion 与 prompt，便于研究者直接用于监督微调（SFT）或基于人类偏好的知识转移优化（KTO）训练。数据规模虽小（总计约 1138 条），却浓缩了代码生成领域的典型挑战，尤其适合用于模型对齐与偏好学习的快速迭代实验。

使用方法

使用者可通过 HuggingFace Datasets 库便捷加载该数据集，指定配置名称为 'humaneval' 或 'mbxp' 即可获取对应分片数据。每个样本的 prompt 字段可直接作为模型输入，completion 字段作为目标输出，适用于序列到序列的微调范式。对于偏好学习场景，研究者可利用 task_id 进行任务对齐，或结合 language 字段进行跨语言能力评估。数据集已预分为训练集，无需额外划分，可直接接入 PyTorch 或 TensorFlow 训练流水线，实现快速原型验证。

背景与挑战

背景概述

在代码生成与程序合成领域，大规模数据集对于训练和评估语言模型至关重要。stojchet/python-sft_kto_no-ref-empty数据集由研究人员构建，整合了Humaneval和MBXP两个经典基准测试，旨在为代码补全任务提供标准化的训练与评估资源。该数据集创建于2023年，主要关注跨语言编程能力，涵盖Python等多种编程语言，核心研究问题在于如何通过监督微调与知识转移优化模型生成正确代码的能力。其影响力体现在为低资源语言代码生成研究提供了可复现的基准，推动了代码智能领域从单一语言向多语言泛化的演进。

当前挑战

该数据集面临的挑战首先在于领域问题层面：代码生成任务需要模型同时理解自然语言语义与编程语法，而现有模型在复杂逻辑推理和跨语言一致性上仍存在显著不足，尤其是MBXP中多语言样本的分布不均加剧了泛化难度。其次，构建过程中遇到数据稀疏性问题——Humaneval仅含164个训练样本，难以充分覆盖多样化的编程场景；此外，缺乏人工标注的负样本或偏好对（如KTO所需）使得直接应用偏好优化算法受限，导致模型在安全性与鲁棒性上表现欠佳。

常用场景

经典使用场景

该数据集整合了HumanEval与MBXP两大经典代码生成基准，为评估和提升大语言模型在代码补全与生成任务上的表现提供了标准化平台。其经典使用场景聚焦于多语言编程场景下的模型微调与偏好优化，通过引入无参考的KTO（Knowledge Transfer Optimization）方法，研究者能够在不依赖人工标注参考解答的情况下，对模型生成的代码质量进行排序与强化，从而推动代码智能领域向更高效、更泛化的方向演进。

解决学术问题

该数据集有效回应了代码生成领域长期存在的两大挑战：一是多语言编程能力评估的碎片化问题，通过统一HumanEval（Python）与MBXP（涵盖多种编程语言）的格式，构建了跨语言性能对比的基准；二是偏好学习中对昂贵人工标注的依赖，其KTO框架允许模型利用自身生成样本进行自监督式优化，解决了传统RLHF（基于人类反馈的强化学习）在代码任务中的成本瓶颈。这一设计为研究代码语义理解、语言间知识迁移以及无监督偏好对齐提供了关键实验基础。

衍生相关工作

基于该数据集，研究者已衍生出多项开创性工作。例如，有工作将其与指令微调框架结合，探索了如何通过对比学习增强模型对代码意图的捕捉能力；另有研究利用其KTO特性，提出了无需外部奖励模型的代码偏好学习算法，显著提升了模型在未见语言上的生成鲁棒性。此外，该数据集还催生了针对代码安全性与正确性的专项评估基准，推动了大模型在关键任务场景中的可靠性研究。