eitanturok/API-Bench

该数据集是API-Bench的清理版本，原始未清理的数据集可以在指定链接找到。数据集通过使用GPT4的Self-Instruct方法创建，详细信息可在相关论文中找到。该数据集不可用于商业用途。

This dataset is a cleaned version of API-Bench. The original uncleaned dataset can be found at the specified link. This dataset was created using the GPT-4 Self-Instruct method, and detailed information is available in the relevant paper. This dataset is not permitted for commercial use.

原始信息汇总

数据集概述

配置信息

1. Huggingface配置

   • 特征:
     • input: string
     • instruction: string
     • domain: string
     • api_call: string
     • api_provider: string
     • explanation: string
     • code: string
     • messages: list
       • content: string
       • role: string
     • raw_text: string
   • 分割:
     • train: 8191 examples, 32806359 bytes
     • eval: 911 examples, 3685879 bytes
   • 下载大小: 11943543 bytes
   • 数据集大小: 36492238 bytes

2. TensorFlow配置

   • 特征:
     • input: string
     • instruction: string
     • domain: string
     • api_call: string
     • api_provider: string
     • explanation: string
     • code: string
     • messages: list
       • content: string
       • role: string
     • raw_text: string
   • 分割:
     • train: 6190 examples, 19510427 bytes
     • eval: 688 examples, 2154424 bytes
   • 下载大小: 5701607 bytes
   • 数据集大小: 21664851 bytes

3. TorchHub配置

   • 特征:
     • input: string
     • instruction: string
     • domain: string
     • api_call: string
     • api_provider: string
     • explanation: string
     • code: string
     • messages: list
       • content: string
       • role: string
     • raw_text: string
   • 分割:
     • train: 837 examples, 939667 bytes
     • eval: 186 examples, 210314 bytes
   • 下载大小: 186969 bytes
   • 数据集大小: 1149981 bytes

数据文件路径

• Huggingface:
  • train: huggingface/train-*
  • eval: huggingface/eval-*
• TensorFlow:
  • train: tensorflow/train-*
  • eval: tensorflow/eval-*
• TorchHub:
  • train: torchhub/train-*
  • eval: torchhub/eval-*

数据集来源与用途

• 来源: 清理自API-Bench数据集，原始数据集可在此处找到。
• 创建方式: 使用Self-Instruct与GPT4生成，详细信息见论文Gorilla: Large Language Model Connected with Massive APIs。
• 限制: 不可用于商业用途。

搜集汇总

数据集介绍

构建方式

API-Bench数据集源自Gorilla研究项目，其构建依托于自指令（Self-Instruct）方法，借助GPT-4的强大生成能力自动合成。原始数据经过清洗与结构化处理，形成包含输入、指令、领域、API调用、API提供者、解释、代码、多轮对话消息及原始文本等多维字段的丰富语料。数据集按API来源划分为huggingface、tensorflow、torchhub三个子配置，每个配置均配备独立的训练集与评估集，总计超过9000条样本，为评估大语言模型调用外部API的能力提供了高质量基准。

特点

该数据集的核心特色在于其跨框架的API覆盖与精细化的字段设计。它同时涵盖Hugging Face、TensorFlow和TorchHub三大主流机器学习框架的API调用场景，每条样本不仅包含自然语言指令与对应API调用，还提供了领域标签、调用解释及可执行代码，形成从意图理解到代码生成的完整链路。多轮消息字段的引入进一步支持对话式API交互的评测，而原始文本字段则保留了生成过程的完整性，便于深入分析模型行为。

使用方法

研究者可通过Hugging Face Datasets库便捷加载该数据集，指定config_name参数选择huggingface、tensorflow或torchhub子集，并利用split参数区分训练集与评估集。数据集中'instruction'字段可作为模型输入，'api_call'与'code'字段作为目标输出，用于微调或评估大语言模型的API调用能力。'messages'字段适合构建多轮对话训练数据，而'domain'与'api_provider'字段可用于分析模型在不同框架下的泛化表现。需注意该数据集仅限学术研究使用，不得用于商业用途。

背景与挑战

背景概述

API-Bench数据集由加州大学伯克利分校的Shishir Patil及其团队于2023年创建，旨在评估和提升大型语言模型在调用海量API任务中的能力。该数据集基于Gorilla论文中的研究思路，通过Self-Instruct方法利用GPT-4生成，涵盖HuggingFace、TensorFlow和TorchHub三大主流机器学习框架的API调用实例。其核心研究问题在于探索语言模型如何理解并准确执行复杂的API调用指令，从而推动将大语言模型从纯粹的文本生成工具转变为能够自主操作软件生态的智能体。该数据集的提出为函数调用、工具使用等前沿方向提供了重要的基准测试资源，对后续研究产生了深远影响。

当前挑战

API-Bench面临的挑战首先体现在领域问题的复杂性上：不同于传统文本任务，API调用要求模型精准理解函数签名、参数类型及调用规则，任何微小错误都会导致执行失败，这对模型的语义解析和逻辑推理能力提出严苛要求。在构建过程中，团队需应对生成数据的一致性与准确性难题，通过Self-Instruct方法从GPT-4获取的API样本可能存在幻觉或格式偏差，需进行大量人工清洗与验证；此外，跨框架（HuggingFace、TensorFlow、TorchHub）的API规范差异增加了数据对齐的难度，而数据集规模有限（仅约9000条样本）也限制了模型泛化能力的充分训练与评估。

常用场景

经典使用场景

API-Bench数据集在大型语言模型与外部工具交互的研究领域中占据着举足轻重的地位。其核心应用场景在于评估和微调语言模型调用应用程序编程接口的能力，尤其是在HuggingFace、TensorFlow和TorchHub三大主流机器学习框架的API调用任务上。研究人员通过该数据集提供的结构化指令、API调用及对应代码，能够系统地训练模型理解自然语言指令并生成精确的API调用序列，从而推动工具增强型语言模型的发展。

实际应用

在实际应用中，API-Bench数据集催生了一系列具有变革性的技术方案。基于该数据集训练的模型能够自动将用户自然语言请求转化为具体的API调用，广泛应用于智能编程助手、自动化工作流编排和低代码开发平台。例如，开发者可以通过对话式界面直接调用HuggingFace的模型库或TensorFlow的计算图，显著降低了机器学习应用的开发门槛，加速了从需求到部署的转化效率。

衍生相关工作

API-Bench数据集衍生出了一系列具有深远影响的经典工作。其原始研究论文《Gorilla: Large Language Model Connected with Massive APIs》首次提出了基于检索增强的API调用框架，后续研究者在此基础上拓展了多轮对话中的工具调用、跨库API适配以及动态API选择等方向。此外，该数据集还促进了多个基准测试的建立，如ToolBench和APIBank，形成了工具增强语言模型领域的系统性研究体系。