rbiswasfc/gorilla-bench-apis

该数据集包含三个不同的配置：huggingface、tensorflowhub和torchhub。每个配置都包含多个特征，如领域（domain）、框架（framework）、功能（functionality）、API名称（api_name）、API调用（api_call）、API参数（api_arguments）、Python环境要求（python_environment_requirements）、示例代码（example_code）、性能（performance）和描述（description）。数据集主要用于训练，每个配置的训练集大小和样本数量也有所不同。

This dataset contains three different configurations: huggingface, tensorflowhub, and torchhub. Each configuration includes multiple features such as domain, framework, functionality, api_name, api_call, api_arguments, python_environment_requirements, example_code, performance, and description. The dataset is primarily used for training, with varying sizes and numbers of examples for each configurations training set.

原始信息汇总

数据集概述

许可证

• Apache 2.0

数据集配置

HuggingFace

• 特征:
  • domain: string
  • framework: string
  • functionality: string
  • api_name: string
  • api_call: string
  • api_arguments: string
  • python_environment_requirements: string
  • example_code: string
  • performance: string
  • description: string
• 分割:
  • train:
    • 字节数: 905056
    • 样本数: 936
• 下载大小: 278504 字节
• 数据集大小: 905056 字节
• 数据文件路径: huggingface/train-*

TensorFlowHub

• 特征:
  • domain: string
  • framework: string
  • functionality: string
  • api_name: string
  • api_call: string
  • api_arguments: string
  • python_environment_requirements: string
  • example_code: string
  • performance: string
  • description: string
• 分割:
  • train:
    • 字节数: 546198
    • 样本数: 696
• 下载大小: 83260 字节
• 数据集大小: 546198 字节
• 数据文件路径: tensorflowhub/train-*

TorchHub

• 特征:
  • domain: string
  • framework: string
  • functionality: string
  • api_name: string
  • api_call: string
  • api_arguments: string
  • python_environment_requirements: string
  • example_code: string
  • performance: string
  • description: string
• 分割:
  • train:
    • 字节数: 112323
    • 样本数: 94
• 下载大小: 44721 字节
• 数据集大小: 112323 字节
• 数据文件路径: torchhub/train-*

搜集汇总

背景与挑战

背景概述

该数据集是一个AI模型API基准测试集合，包含1,726条记录，覆盖自然语言处理、计算机视觉和多模态任务等多种领域。数据集提供了详细的API调用信息、示例代码、性能指标和环境要求，旨在支持模型评估和集成应用。