super-dainiu/ml-bench

ML-Bench是一个新颖的双重设置基准测试，旨在评估大型语言模型（LLMs）和AI代理在生成机器学习任务代码方面的能力。该基准测试包含来自18个GitHub机器学习仓库中的169个不同任务的9,641个示例。数据集提供了多个字段，包括GitHub仓库的ID和URL、样本ID、路径、用户指令、任务参数、oracle内容、输出类型、真实输出以及用于准备执行环境的代码片段。数据集结构为JSON格式，每个示例都是一个包含上述字段的字典。

ML-Bench is a novel dual-setup benchmark designed to evaluate Large Language Models (LLMs) and AI agents in generating repository-level code for machine learning tasks. The benchmark consists of 9,641 examples from 169 diverse tasks across 18 GitHub machine learning repositories. The dataset contains fields such as GitHub repository ID and URL, sample ID, path, user instructions, task arguments, oracle contents, output type, ground truth output, and code snippets for preparing the execution environment. The dataset is structured in JSON format, with each example represented as a dictionary containing the aforementioned fields.

原始信息汇总

数据集概述

数据集信息

• 语言: 英语
• 特征:
  • github_id: 数据类型为 int64
  • github: 数据类型为 string
  • repo_id: 数据类型为 int64
  • id: 数据类型为 int64
  • domain: 数据类型为 string
  • task: 数据类型为 string
  • readme: 数据类型为 string
  • path: 数据类型为 string
  • arguments: 数据类型为 string
  • prefix_code: 数据类型为 string
  • output: 数据类型为 string
  • instruction: 数据类型为 string
  • oracle_segment: 数据类型为 string

数据分割

• full:
  • 字节数: 1493798
  • 样本数: 292
• quarter:
  • 字节数: 365054
  • 样本数: 73

数据集大小

• 下载大小: 223719 字节
• 数据集大小: 1858852 字节

配置

• 配置名称: default
  • 数据文件:
    • full 分割: data/full-*
    • quarter 分割: data/quarter-*