gabeorlanski/bc-humaneval

BabelCode-HumaneEval（BC-HumanEval）数据集是将OpenAI发布的HumanEval数据集转换为16种编程语言的版本。该数据集支持的任务包括文本生成和文本到文本生成。数据集的结构包括多个字段，如问题ID、标题、编程语言、问题描述、签名、解决方案等。数据集的创建者来自Google Research，许可证为CC-BY-4.0。The BabelCode-HumaneEval (BC-HumanEval) dataset is a version of the HumanEval dataset released by OpenAI, converted into 16 programming languages. It supports tasks including text generation and text-to-text generation. The dataset structure includes multiple fields such as question ID, title, programming language, problem description, function signature, solution, etc. Its creators are from Google Research, and it is licensed under CC-BY-4.0.

原始信息汇总

数据集概述

数据集名称

• 名称: BabelCode HumanEval
• 别名: BC-HumanEval

数据集描述

• 概述: BabelCode-HumanEval (BC-HumanEval) 数据集将 HumanEval 数据集 转换为16种编程语言。

许可信息

• 许可证: Apache-2.0

语言支持

• 支持的语言:
  • C++
  • C#
  • Dart
  • Go
  • Haskell
  • Java
  • Javascript
  • Julia
  • Kotlin
  • Lua
  • PHP
  • Python
  • R
  • Rust
  • Scala
  • TypeScript

数据集结构

• 数据字段:
  • qid: 问题ID，用于运行测试。
  • title: 问题标题。
  • language: 示例的编程语言。
  • text: 问题描述。
  • signature: 问题的签名。
  • signature_with_docstring: 带有适当格式文档字符串的问题签名。
  • arguments: 问题的参数。
  • solution: 问题的Python解决方案。
  • question_info: 用于执行预测的信息字典，包含测试代码、测试列表、测试案例ID等。

数据集大小

• 规模: 1K<n<10K

数据集来源

• 来源:
  • 原始数据
  • 扩展数据: openai_humaneval

使用指南

• 使用方法: 可通过原始的 BabelCode 仓库 或 bc_eval 指标 使用此数据集。

数据集创建

• 创建细节: 详见 BabelCode 论文 的第2节，了解数据集的转换过程。

数据集维护者

• 维护者: Google Research

引用信息

• 引用格式:

  @article{orlanski2023measuring, title={Measuring The Impact Of Programming Language Distribution}, author={Orlanski, Gabriel and Xiao, Kefan and Garcia, Xavier and Hui, Jeffrey and Howland, Joshua and Malmaud, Jonathan and Austin, Jacob and Singh, Rishah and Catasta, Michele}, journal={arXiv preprint arXiv:2302.01973}, year={2023} }