JeremiahZ/humaneval_x_with_stats

---
dataset_info:
features:
- name: task_id
dtype: string
- name: prompt
dtype: string
- name: declaration
dtype: string
- name: canonical_solution
dtype: string
- name: test
dtype: string
- name: example_test
dtype: string
- name: llvm_ir
dtype: string
- name: wat
dtype: string
- name: number_of_lines
dtype: int64
- name: number_of_chars
dtype: int64
- name: wat_number_of_chars
dtype: int64
- name: wat_number_of_lines
dtype: int64
splits:
- name: train
num_bytes: 4393622
num_examples: 161
download_size: 1046507
dataset_size: 4393622
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
# Dataset Card for "humaneval_x_with_stats"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集信息：
特征字段：
- 名称：任务ID（task_id）
数据类型：字符串（string）
- 名称：提示词（prompt）
数据类型：字符串（string）
- 名称：声明（declaration）
数据类型：字符串（string）
- 名称：标准解法（canonical_solution）
数据类型：字符串（string）
- 名称：测试用例（test）
数据类型：字符串（string）
- 名称：示例测试用例（example_test）
数据类型：字符串（string）
- 名称：LLVM中间表示（llvm_ir）
数据类型：字符串（string）
- 名称：WebAssembly文本格式（wat）
数据类型：字符串（string）
- 名称：行数（number_of_lines）
数据类型：64位整数（int64）
- 名称：字符数（number_of_chars）
数据类型：64位整数（int64）
- 名称：WebAssembly文本格式字符数（wat_number_of_chars）
数据类型：64位整数（int64）
- 名称：WebAssembly文本格式行数（wat_number_of_lines）
数据类型：64位整数（int64）
数据集划分：
- 名称：训练集（train）
字节数：4393622
样本数：161
下载大小：1046507
数据集大小：4393622
配置项：
- 配置名称：默认配置（default）
数据文件：
- 划分：训练集
路径：data/train-*
---
# 「humaneval_x_with_stats」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

特征

• task_id: 字符串类型
• prompt: 字符串类型
• declaration: 字符串类型
• canonical_solution: 字符串类型
• test: 字符串类型
• example_test: 字符串类型
• llvm_ir: 字符串类型
• wat: 字符串类型
• number_of_lines: 64位整数类型
• number_of_chars: 64位整数类型
• wat_number_of_chars: 64位整数类型
• wat_number_of_lines: 64位整数类型

数据分割

• train:
  • 字节数: 4393622
  • 样本数: 161

数据集大小

• 下载大小: 1046507 字节
• 数据集大小: 4393622 字节

配置

• default:
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

搜集汇总

数据集介绍

构建方式

在程序合成与代码生成领域，HumanEval数据集作为评估基准已广泛应用于大语言模型的能力测试。JeremiahZ/humaneval_x_with_stats数据集在原始HumanEval基础上进行了系统性扩展，不仅保留了任务标识符、问题描述、函数声明、规范解法及测试用例等核心字段，还额外引入了LLVM中间表示（llvm_ir）与WebAssembly文本格式（wat）两种底层代码表征。此外，数据集统计了每道题目的代码行数、字符数及其对应的WAT表征的字符数与行数，从而为多层级代码分析与评估提供了结构化支撑。该数据集共包含161个训练样本，以单一训练集形式组织，数据存储于Parquet格式文件中，便于高效加载与处理。

特点

该数据集最显著的特点在于其多维度代码表征的融合能力。每一条样本不仅包含传统的高级语言代码（Python），还提供了与之对应的LLVM IR与WAT格式，使得研究者能够从不同抽象层级审视程序的结构与语义。同时，数据集内嵌了代码规模统计信息，如行数与字符数，为代码复杂度分析提供了量化依据。这种设计使得JeremiahZ/humaneval_x_with_stats在评估代码生成模型时，不仅能衡量功能正确性，还能分析生成代码在中间表示层面的特性，适用于跨语言编译、代码优化及形式化验证等前沿研究场景。

使用方法

使用者可通过HuggingFace的datasets库便捷加载该数据集，默认配置下仅包含训练集。加载后，每条样本以字典形式呈现，包含task_id、prompt、declaration、canonical_solution、test、example_test、llvm_ir、wat等字段，以及number_of_lines、number_of_chars等统计量。研究者可基于prompt字段构造输入，利用canonical_solution与test字段验证生成代码的正确性，同时借助llvm_ir与wat字段进行跨表示级别的分析。数据集适合用于代码生成、程序理解、编译器测试及代码表示学习等任务的实验与评估。

背景与挑战

背景概述

在代码生成与程序合成领域，评估模型生成代码的功能正确性始终是一项核心挑战。HumanEval是由OpenAI于2021年提出的经典基准测试，旨在衡量大型语言模型在Python函数级代码生成任务上的表现。然而，原始HumanEval仅提供了源代码级别的测试用例，缺乏对编译中间表示或执行效率的度量，限制了其对底层代码优化与跨语言编译能力的评估。为此，JeremiahZ等人构建了humaneval_x_with_stats数据集，在保留原始164个编程问题的基础上，补充了LLVM中间表示（IR）与WebAssembly文本格式（WAT）代码，并统计了代码行数、字符数等结构特征。该数据集由HuggingFace平台托管，面向代码智能与编译器优化研究社区，为探索从高级语言到中间表示的生成质量、代码紧凑性分析以及多级代码表征学习提供了标准化评测资源。

当前挑战

该数据集所面对的挑战体现在两个层面。在领域问题层面，现有代码生成基准多聚焦于最终输出是否正确，而忽略了代码的编译效率与中间表示质量，humaneval_x_with_stats通过引入LLVM IR与WAT格式，旨在推动对代码生成模型在低级优化与跨平台兼容性上的评估，但如何定义和量化中间表示层面的“正确性”仍是开放难题。在构建过程中，主要挑战包括：确保从Python源代码到LLVM IR与WAT的转换过程准确无误，避免因编译器版本差异或优化选项不同导致的数据偏差；同时，对161个样本进行多维度统计标注时，需处理代码长度与功能复杂度之间的非线性关系，以保证统计特征能真实反映代码结构而非噪声。

常用场景

经典使用场景

在程序合成与自动代码生成领域，JeremiahZ/humaneval_x_with_stats 数据集凭借其丰富的统计元信息（如代码行数、字符数、LLVM IR及WAT表示）脱颖而出。该数据集最经典的使用场景是作为大语言模型代码生成能力的基准测试平台，研究者通过将模型生成的代码与标准解及测试用例进行比对，评估其在功能性、语法正确性及代码复杂度上的表现。这一场景尤其适用于对比不同模型在Python编程任务上的泛化能力，为代码智能评估提供了标准化、可重复的评测框架。

解决学术问题

该数据集的核心价值在于解决了代码生成领域长期存在的评估碎片化问题。传统基准如HumanEval仅提供测试用例与标准解，缺乏对代码结构特征的量化指标。humaneval_x_with_stats 通过引入LLVM IR与WAT中间表示，使得研究者能够从编译优化、控制流复杂度等深层维度分析模型输出。这为探究代码生成中的语义等价性、冗余消除及可移植性等学术议题提供了数据支撑，显著推动了代码智能评估从简单功能测试向多维度、跨层次分析的范式演进。

衍生相关工作

基于该数据集，学术界衍生出一系列经典工作。最显著的包括针对代码生成中长尾错误模式的分类研究，研究者利用其统计特征构建了错误类型预测器。另一方向是代码复杂度与人类认知负荷的关联分析，通过对比模型生成代码的行数与人类编写习惯，提出可读性增强策略。此外，LLVM IR的引入催生了编译感知的代码生成模型，该类工作利用中间表示优化训练目标，在保持功能正确的同时降低了生成代码的运行时资源消耗。这些衍生研究共同拓展了代码智能的边界。