eitanturok/humaneval-fix-starcoder-withtags

---
dataset_info:
config_name: python
features:
- name: task_id
dtype: string
- name: prompt
dtype: string
- name: entry_point
dtype: string
- name: canonical_solution
dtype: string
- name: test
dtype: string
- name: test_inputs
sequence: string
- name: test_outputs
sequence: string
- name: language
dtype: string
splits:
- name: test
num_bytes: 227949
num_examples: 164
download_size: 101583
dataset_size: 227949
configs:
- config_name: python
data_files:
- split: test
path: python/test-*
---

数据集信息：
配置名称：python
特征字段：
- 字段名：task_id，数据类型：字符串
- 字段名：prompt，数据类型：字符串
- 字段名：entry_point（入口点），数据类型：字符串
- 字段名：canonical_solution（规范解决方案），数据类型：字符串
- 字段名：test（测试代码），数据类型：字符串
- 字段名：test_inputs，数据类型：字符串序列
- 字段名：test_outputs，数据类型：字符串序列
- 字段名：language，数据类型：字符串
数据集拆分：
- 拆分名称：test，字节数：227949字节，样本数量：164
下载大小：101583字节
数据集总大小：227949字节
配置信息：
- 配置名称：python，数据文件：
- 对应拆分：test，文件路径：python/test-*

原始信息汇总

数据集概述

数据集配置

• 配置名称: python

数据特征

• 特征列表:
  • task_id: 数据类型为字符串
  • prompt: 数据类型为字符串
  • entry_point: 数据类型为字符串
  • canonical_solution: 数据类型为字符串
  • test: 数据类型为字符串
  • test_inputs: 数据类型为字符串序列
  • test_outputs: 数据类型为字符串序列
  • language: 数据类型为字符串

数据分割

• 分割名称: test
  • 字节数: 227949
  • 样本数量: 164

数据大小

• 下载大小: 101583
• 数据集大小: 227949

数据文件

• 配置名称: python
  • 数据文件:
    • 分割: test
    • 路径: python/test-*

搜集汇总

数据集介绍

构建方式

在代码智能与程序修复领域，高质量的数据集是推动模型能力提升的关键基石。eitanturok/humaneval-fix-starcoder-withtags数据集基于经典的HumanEval基准进行扩展与重构，专注于代码修复任务。该数据集以Python语言为单一配置，共包含164个测试样本。每个样本精心设计了多个字段：task_id用于唯一标识任务，prompt提供原始代码提示，entry_point指明函数入口点，canonical_solution给出标准解法，test包含验证测试用例，test_inputs与test_outputs分别对应输入输出序列，language字段明确标注编程语言。这种多维度的结构化设计，使得数据集不仅适用于代码生成评估，更可服务于代码修复场景下的模型微调与性能评测。

特点

该数据集最显著的特点在于其针对StarCoder模型在代码修复任务上的专项优化与标注。与原始HumanEval不同，本数据集通过引入带有标签的修复版本，使得模型能够学习从错误代码到正确代码的转换模式。每个样本均包含完整的测试输入输出对，这为评估模型修复能力提供了客观且可复现的标准。此外，数据集规模虽小（仅164例），但每个样本均经过精心筛选与标注，确保了高质量与领域针对性。这种精炼的设计使得数据集在训练与评估过程中能够高效聚焦于代码修复的核心挑战，避免了冗余数据带来的噪声干扰。

使用方法

使用该数据集时，研究者可将其加载为标准的HuggingFace数据集对象，通过config_name参数指定'python'配置以获取所有样本。每个样本中的prompt字段可作为模型输入，引导模型生成修复后的代码，而canonical_solution则作为参考答案用于评估。test字段中的测试用例可用于自动化验证模型输出的正确性，test_inputs与test_outputs则支持更细粒度的输入输出匹配测试。建议在微调StarCoder或其他代码生成模型时，将数据集按需划分为训练集与验证集，并利用其多字段结构设计针对性的损失函数与评估指标，以充分挖掘其在代码修复任务中的潜力。

背景与挑战

背景概述

在代码生成领域，评估大型语言模型对编程任务的理解与执行能力至关重要。eitanturok/humaneval-fix-starcoder-withtags 数据集基于经典的 HumanEval 基准，由研究人员于近期构建，旨在修复并增强 StarCoder 模型在代码补全与生成中的表现。该数据集聚焦于 Python 语言，包含 164 个测试样本，每个样本涵盖任务标识、提示、入口点、规范解决方案及测试用例等结构化信息。通过引入标签机制，它更精细地刻画了模型对代码语义和语法约束的把握，为评估和提升代码生成模型的鲁棒性提供了标准化测试平台，对推动自动化编程和智能软件开发具有显著影响力。

当前挑战

该数据集面临的核心挑战在于所解决的领域问题：代码生成任务需同时满足语法正确性与逻辑一致性，而现有模型常在复杂函数或边界条件上产生语义偏差，导致生成代码无法通过测试。构建过程中，研究人员需确保每个样本的测试输入与输出覆盖全面，避免过拟合于简单模式，同时平衡标签的粒度以准确反映模型缺陷。此外，数据集规模较小（164 例），限制了统计显著性，且依赖单一语言（Python）可能削弱跨语言泛化能力。这些挑战要求未来扩展样本多样性并引入更细粒度的评估指标，以提升数据集在代码智能领域的实用价值。

常用场景

经典使用场景

在代码生成与程序合成领域，HumanEval-Fix-StarCoder-WithTags 数据集作为一项精细化的基准资源，被广泛用于评估和提升大语言模型在代码修复任务上的能力。该数据集以经典的 HumanEval 问题集为蓝本，通过注入语义错误并附加修复标签，构建出针对性的测试场景。研究者通常利用其164个Python示例，对模型在给定错误代码片段与上下文提示下生成正确修复补丁的表现进行量化评测，从而推动代码智能体从生成到纠错的演进。

实际应用

在实际工程场景中，该数据集所评测的能力直接映射到自动化代码审查、智能编程助手以及持续集成中的缺陷修复环节。例如，集成开发环境（IDE）中的代码补全插件可以利用基于该数据集微调的模型，在开发者提交代码后自动检测并建议修复逻辑错误，显著降低人工调试成本。此外，在开源代码库的维护过程中，此类模型能够辅助识别拉取请求中的潜在语义漏洞，提升软件质量与开发效率。

衍生相关工作

围绕该数据集衍生出一系列标志性工作，包括基于 StarCoder 系列模型的指令微调策略研究，以及针对代码修复任务的对比学习框架。研究者还借鉴其标签结构，构建了多语言版本的代码修复基准，如扩展至 Java 和 JavaScript 的变体。此外，部分工作结合强化学习与迭代推理机制，利用该数据集作为验证集，探索模型在多次修正循环中的稳定性，为后续代码智能体在复杂软件工程任务中的应用奠定了方法论基础。