iskhare/humaneval_splits

HumanEval数据集由OpenAI发布，包含164个编程问题，每个问题包括函数签名、文档字符串、函数体和多个单元测试。这些问题是为了确保它们不会出现在代码生成模型的训练集中而手工编写的。数据集的结构包括训练集和测试集，分别包含32个和132个样本。每个样本包含任务ID、提示、规范解决方案、测试代码和入口点。数据集的创建是为了评估代码生成模型，确保它们在没有出现在训练数据中的问题上也能表现良好。

原始信息汇总

数据集概述

数据集名称

• 名称: HumanEval with Splits
• 别名: HumanEval

数据集属性

• 语言: 英语 (en)
• 许可证: MIT
• 多语言性: 单语
• 大小类别: 小于1K
• 源数据集: 原始
• 任务类别: 文本到文本生成
• 标签: 代码生成

数据集结构

• 配置名称: humaneval_splits
• 特征:
  • task_id: 字符串
  • prompt: 字符串
  • canonical_solution: 字符串
  • test: 字符串
  • entry_point: 字符串
• 数据分割:
  • 训练集: 32个样本，30793字节
  • 测试集: 132个样本，66250字节

数据集内容

• 描述: 包含164个编程问题，每个问题包括函数签名、文档字符串、主体和多个单元测试。
• 编程语言: Python
• 文本内容: 英语自然文本，主要在注释和文档字符串中。

数据集创建

• 创建理由: 为评估代码生成模型提供一个不包含在训练集中的数据集。
• 数据收集: 由OpenAI的工程师和研究人员手工制作。

使用考虑

• 安全环境: 在评估时，确保在安全环境中执行生成的Python代码，以防止潜在的危害。

许可证信息

• 许可证: MIT License

引用信息

@misc{chen2021evaluating, title={Evaluating Large Language Models Trained on Code}, author={Mark Chen and others}, year={2021}, eprint={2107.03374}, archivePrefix={arXiv}, primaryClass={cs.LG} }