gabeorlanski/bc-humaneval

BabelCode-HumaneEval（BC-HumanEval）数据集是将OpenAI发布的HumanEval数据集转换为16种编程语言的版本。该数据集支持的任务包括文本生成和文本到文本生成。数据集的结构包括多个字段，如问题ID、标题、编程语言、问题描述、签名、解决方案等。数据集的创建者来自Google Research，许可证为CC-BY-4.0。

原始信息汇总

数据集概述

数据集名称

• 名称: BabelCode HumanEval
• 别名: BC-HumanEval

数据集描述

• 概述: BabelCode-HumanEval (BC-HumanEval) 数据集将 HumanEval 数据集 转换为16种编程语言。

许可信息

• 许可证: Apache-2.0

语言支持

• 支持的语言:
  • C++
  • C#
  • Dart
  • Go
  • Haskell
  • Java
  • Javascript
  • Julia
  • Kotlin
  • Lua
  • PHP
  • Python
  • R
  • Rust
  • Scala
  • TypeScript

数据集结构

• 数据字段:
  • qid: 问题ID，用于运行测试。
  • title: 问题标题。
  • language: 示例的编程语言。
  • text: 问题描述。
  • signature: 问题的签名。
  • signature_with_docstring: 带有适当格式文档字符串的问题签名。
  • arguments: 问题的参数。
  • solution: 问题的Python解决方案。
  • question_info: 用于执行预测的信息字典，包含测试代码、测试列表、测试案例ID等。

数据集大小

• 规模: 1K<n<10K

数据集来源

• 来源:
  • 原始数据
  • 扩展数据: openai_humaneval

使用指南

• 使用方法: 可通过原始的 BabelCode 仓库 或 bc_eval 指标 使用此数据集。

数据集创建

• 创建细节: 详见 BabelCode 论文 的第2节，了解数据集的转换过程。

数据集维护者

• 维护者: Google Research

引用信息

• 引用格式:

  @article{orlanski2023measuring, title={Measuring The Impact Of Programming Language Distribution}, author={Orlanski, Gabriel and Xiao, Kefan and Garcia, Xavier and Hui, Jeffrey and Howland, Joshua and Malmaud, Jonathan and Austin, Jacob and Singh, Rishah and Catasta, Michele}, journal={arXiv preprint arXiv:2302.01973}, year={2023} }