Muennighoff/mbpp

该基准测试包含约1,000个由众包和专家生成的Python编程问题，旨在由入门级程序员解决，涵盖编程基础、标准库功能等。每个问题包括任务描述、代码解决方案和3个自动化测试用例。数据集有两个版本：完整版和经过清理的版本，每个版本只有一个测试分割。数据集用于评估代码生成模型，并已在相关论文中发布。

This benchmark comprises approximately 1,000 Python programming problems generated through crowdsourcing and expert contributions, intended for resolution by entry-level programmers, covering fundamental programming concepts, standard library functionalities, and related topics. Each problem consists of a task description, a code solution, and three automated test cases. The dataset offers two variants: the full version and the cleaned version, each featuring only one test split. This dataset is employed to evaluate code generation models and has been published in relevant academic papers.

原始信息汇总

数据集概述

数据集名称

• 名称: Mostly Basic Python Problems (mbpp)

数据集基本信息

• 语言: 英语
• 许可证: CC-BY-4.0
• 多语言性: 单语种
• 大小类别: 小于1K
• 源数据集: 原始数据
• 任务类别: 文本到文本生成
• 标签: 代码生成

数据集描述

• 概述: 包含约1,000个由众包和专家生成的Python编程问题，设计用于初学者，涵盖编程基础和标准库功能。每个问题包括任务描述、代码解决方案和3个自动化测试案例。
• 支持任务: 用于评估代码生成。

数据集结构

• 数据实例: 包含完整的Python代码解决方案和测试案例。
• 数据字段:
  • text/prompt: 编程任务描述
  • code: 编程任务的解决方案
  • test_list: 验证解决方案的测试列表

数据集创建

• 来源: 由Google内部众包努力创建。
• 注释过程: 初始数据集创建后，部分数据进行了第二轮注释以改进任务描述。

使用考虑

• 安全环境: 在评估此数据集时，确保在安全环境中执行生成的Python代码，以防止潜在的危害。

附加信息

• 数据集管理: Google Research
• 许可证: CC-BY-4.0
• 引用信息: 参考文献Austin et. al., 2021

搜集汇总

背景与挑战

背景概述

mbpp数据集是一个包含约1,000个Python编程问题的基准测试集，每个问题配有任务描述、解决方案和测试用例，用于评估代码生成模型的性能。数据集分为完整版和经过人工验证的净化版，覆盖基础编程概念，采用CC-BY-4.0许可。