gabeorlanski/bc-mbpp

BabelCode-MBPP（BC-MBPP）数据集是将Google发布的MBPP数据集转换为16种编程语言的版本。该数据集支持C++、C#、Dart、Go、Haskell、Java、Javascript、Julia、Kotlin、Lua、PHP、Python、R、Rust、Scala和TypeScript等语言，主要用于文本生成和文本到文本生成任务。数据集包含训练集、测试集、验证集和提示集，每个数据集包含问题ID、标题、语言、问题描述、签名、带文档字符串的签名、参数、解决方案和问题信息等字段。

BabelCode-MBPP (BC-MBPP) is a converted version of the MBPP dataset published by Google, adapted into 16 programming languages. It supports C++, C#, Dart, Go, Haskell, Java, JavaScript, Julia, Kotlin, Lua, PHP, Python, R, Rust, Scala, and TypeScript, and is primarily intended for text generation and text-to-text generation tasks. The dataset consists of training, test, validation, and prompt subsets, with each subset containing fields including question ID, title, language, problem description, signature, signature with docstring, parameters, solution, and problem information.

原始信息汇总

数据集概述

• 数据集名称: BabelCode MBPP
• 许可证: Apache-2.0
• 任务类别:
  • 文本生成
  • 文本到文本生成
• 支持语言: 英语
• 标签: 代码
• 大小类别: 1K<n<10K
• 源数据集:
  • 原始数据
  • 扩展数据|mbpp

数据集详细信息

• 数据集转换: 将MBPP数据集转换为16种编程语言。
• 支持的编程语言:
  • C++
  • C#
  • Dart
  • Go
  • Haskell
  • Java
  • Javascript
  • Julia
  • Kotlin
  • Lua
  • PHP
  • Python
  • R
  • Rust
  • Scala
  • TypeScript

数据集结构

• 数据集类型: DatasetDict
• 数据集划分:
  • 训练集: 5308条记录
  • 测试集: 6989条记录
  • 验证集: 1216条记录
  • 提示集: 160条记录
• 数据字段:
  • qid: 问题ID
  • title: 问题标题
  • language: 编程语言
  • text: 问题描述
  • signature: 问题签名
  • signature_with_docstring: 带文档字符串的签名
  • arguments: 问题参数
  • solution: Python解决方案
  • question_info: 问题信息字典，包含测试代码、测试列表、测试案例ID等详细信息。

数据集使用

• 使用方式: 可通过原始的BabelCode仓库或bc_eval指标使用此数据集。

数据集创建

• 数据集翻译: 详见BabelCode论文的第2节。
• 原始MBPP数据集: 原始数据集的详细信息可在Hugging Face上找到。

数据集版权

• 版权信息: CC-BY-4.0

引用信息

@article{orlanski2023measuring, title={Measuring The Impact Of Programming Language Distribution}, author={Orlanski, Gabriel and Xiao, Kefan and Garcia, Xavier and Hui, Jeffrey and Howland, Joshua and Malmaud, Jonathan and Austin, Jacob and Singh, Rishah and Catasta, Michele}, journal={arXiv preprint arXiv:2302.01973}, year={2023} } @article{Austin2021ProgramSW, title={Program Synthesis with Large Language Models}, author={Jacob Austin and Augustus Odena and Maxwell Nye and Maarten Bosma and Henryk Michalewski and David Dohan and Ellen Jiang and Carrie J. Cai and Michael Terry and Quoc V. Le and Charles Sutton}, journal={ArXiv}, year={2021}, volume={abs/2108.07732} }