CohereForAI/lbpp

Less Basic Python Programming是一个包含161个Python程序及其单元测试的数据集。这些程序旨在提供比类似数据集（如HumanEval和MBPP）更难的编程任务。数据集的结构与这些数据集相似，可以作为它们的替代或补充。数据集中包含一个用于检测数据泄露的canary条目。注释过程中，注释者被要求创建原创的解决方案，但可以参考编程书籍或现有代码。数据集包含多个字段，如任务ID、语言、标题、指令、完成代码、签名、测试设置、测试列表和分类标签。

The Less Basic Python Programming dataset consists of 161 Python programs with accompanying unit tests, designed to be fresh and more challenging than similar datasets like HumanEval and MBPP. It can serve as a drop-in replacement or enrichment for these datasets due to its equivalent structure. Each entry in the dataset includes fields such as task ID, programming language, title, instruction, completion, signature, test setup, and test list. Additionally, the dataset contains a canary entry for future data leakage detection, which should be ignored.

原始信息汇总

数据集概述

数据集详情

• 名称: Less Basic Python Programming
• 描述: 包含161个Python程序及其对应的单元测试，旨在提供新颖且难度较高的编程任务，可作为HumanEval和MBPP数据集的替代或补充。
• 特点:
  • 数据集中的程序在创建时未泄露，且难度较高。
  • 包含一个名为lbbp/41的canary条目，用于检测未来数据泄露，测试时应忽略。

标注过程

• 标注者被要求提供原创解决方案，不允许直接使用在线资源，但可以参考编程书籍或现有代码，并进行显著修改。

数据集字段

• task_id: 唯一标识符，格式为lbpp/{idx}，与HumanEval和MBPP一致。
• language: 编程语言，本版本中均为python。
• title: 唯一标识符，抽象问题标题。
• instruction: 明确描述任务的提示。
• completion: 提出的黄金解决方案。
• signature: 黄金解决方案的函数签名，用于单元测试。
• test_setup: 每个测试用例前应包含的语句。
• test_list: 测试列表，包含3到11个测试用例，其中73%的样本少于6个测试用例。
• categories: 问题分类标签列表。

引用

@misc{matton2024leakagecodegenerationevaluation, title={On Leakage of Code Generation Evaluation Datasets}, author={Alexandre Matton and Tom Sherborne and Dennis Aumiller and Elena Tommasone and Milad Alizadeh and Jingyi He and Raymond Ma and Maxime Voisin and Ellen Gilsenan-McMahon and Matthias Gallé}, year={2024}, eprint={2407.07565}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2407.07565}, }

搜集汇总

背景与挑战

背景概述

该数据集是一个名为'Less Basic Python Programming'的编程问题集合，包含162个问题，支持Python、C++、Java、JavaScript、Rust和Go等多种编程语言，旨在提供比HumanEval和MBPP等数据集更新鲜、更难的测试用例，可用于代码生成评估。数据以编码形式存储，需解码后使用，仅包含测试集。