HuggingFaceH4/code_evaluation_prompts

这是一个用于评估代码指令模型的提示数据集，包含多种语言和任务类型。数据集由ChatGPT生成，建议仅用于定性评估而非模型训练。数据集中包含Python、C++、HTML等多种语言的代码指令，以及代码补全、错误修复等任务类型。具体分布如下：Python 81条，C++ 21条，HTML 10条，以及其他语言的少量指令。数据集旨在提供更具挑战性和更精选的任务，以进行有意义的评估，但数据量不足以训练整个模型。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • prompt: 字符串类型
  • type: 字符串类型
  • bug: 字符串类型
  • language: 字符串类型
  • meta: 结构体类型
    • id: 64位整数类型
    • source: 字符串类型
• 分割:
  • train: 30363字节，115个样本
• 下载大小: 15622字节
• 数据集大小: 30363字节
• 语言: 英语
• 标签: 代码, rlhf
• 大小类别: n<1K

数据内容

• 语言分布:
  • Python: 81
  • C++: 21
  • html: 10
  • Ruby: 1
  • Bash: 1
  • MATLAB: 1
  • React: 1
  • Scala: 1
  • JavaScript: 1
  • Java: 1
  • PHP: 1
• 指令类型分布:
  • 代码完成/指令跟随: 95
  • 错误修复: 20