eitanturok/API-Bench-TensorflowHub

---
dataset_info:
- config_name: eval
features:
- name: input
dtype: string
- name: instruction
dtype: string
- name: domain
dtype: string
- name: api_call
dtype: string
- name: api_provider
dtype: string
- name: explanation
dtype: string
- name: code
dtype: string
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: raw_text
dtype: string
splits:
- name: train
num_bytes: 2154424
num_examples: 688
download_size: 570224
dataset_size: 2154424
- config_name: train
features:
- name: input
dtype: string
- name: instruction
dtype: string
- name: domain
dtype: string
- name: api_call
dtype: string
- name: api_provider
dtype: string
- name: explanation
dtype: string
- name: code
dtype: string
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: raw_text
dtype: string
splits:
- name: train
num_bytes: 19510427
num_examples: 6190
download_size: 5131383
dataset_size: 19510427
configs:
- config_name: eval
data_files:
- split: train
path: eval/train-*
- config_name: train
data_files:
- split: train
path: train/train-*
---

数据集信息：
- 配置名称：eval
特征字段：
- 字段名：input，数据类型：字符串
- 字段名：instruction，数据类型：字符串
- 字段名：domain，数据类型：字符串
- 字段名：api_call，数据类型：字符串
- 字段名：api_provider，数据类型：字符串
- 字段名：explanation，数据类型：字符串
- 字段名：code，数据类型：字符串
- 字段名：messages，数据类型：列表，列表内包含：
- 字段名：content，数据类型：字符串
- 字段名：role，数据类型：字符串
- 字段名：raw_text，数据类型：字符串
数据划分：
- 划分名称：train，字节数：2154424，样本数量：688
下载体积：570224，数据集体积：2154424
- 配置名称：train
特征字段：
- 字段名：input，数据类型：字符串
- 字段名：instruction，数据类型：字符串
- 字段名：domain，数据类型：字符串
- 字段名：api_call，数据类型：字符串
- 字段名：api_provider，数据类型：字符串
- 字段名：explanation，数据类型：字符串
- 字段名：code，数据类型：字符串
- 字段名：messages，数据类型：列表，列表内包含：
- 字段名：content，数据类型：字符串
- 字段名：role，数据类型：字符串
- 字段名：raw_text，数据类型：字符串
数据划分：
- 划分名称：train，字节数：19510427，样本数量：6190
下载体积：5131383，数据集体积：19510427
配置项：
- 配置名称：eval，数据文件：
- 划分：train，路径：eval/train-*
- 配置名称：train，数据文件：
- 划分：train，路径：train/train-*

原始信息汇总

数据集概述

配置名称：eval

• 特征信息：

  • input: 字符串
  • instruction: 字符串
  • domain: 字符串
  • api_call: 字符串
  • api_provider: 字符串
  • explanation: 字符串
  • code: 字符串
  • messages: 列表
    • content: 字符串
    • role: 字符串
  • raw_text: 字符串

• 数据分割：

  • 训练集
    • 字节数: 2154424
    • 示例数: 688

• 数据集大小：

  • 下载大小: 570224
  • 数据集大小: 2154424

配置名称：train

• 特征信息：

  • input: 字符串
  • instruction: 字符串
  • domain: 字符串
  • api_call: 字符串
  • api_provider: 字符串
  • explanation: 字符串
  • code: 字符串
  • messages: 列表
    • content: 字符串
    • role: 字符串
  • raw_text: 字符串

• 数据分割：

  • 训练集
    • 字节数: 19510427
    • 示例数: 6190

• 数据集大小：

  • 下载大小: 5131383
  • 数据集大小: 19510427

搜集汇总

数据集介绍

构建方式

在人工智能与应用程序接口（API）深度融合的背景下，API-Bench-TensorflowHub数据集应运而生，专为评估和训练模型在TensorFlow Hub生态中的API调用能力而设计。该数据集通过系统化采集与人工精修相结合的方式构建，涵盖输入指令、领域标签、API调用细节及提供方信息等关键字段。数据被划分为eval和train两个配置，其中eval集包含688条样本，train集包含6190条样本，均以字符串和列表形式存储交互消息与原始文本，确保数据结构的完整性与多样性。

特点

该数据集的一大特色在于其多维度的结构化设计，每条样本不仅包含基础的输入和指令，还明确标注了领域（domain）、API调用（api_call）及提供方（api_provider），为模型理解上下文和精准调用API提供了丰富的监督信号。此外，数据集中嵌入了详细的解释（explanation）与代码（code）字段，有助于模型学习从自然语言到API执行的完整推理链条。消息（messages）字段以对话形式组织，模拟真实交互场景，增强了数据的实用性。

使用方法

使用该数据集时，研究人员可直接通过HuggingFace Datasets库加载eval或train配置，利用其预定义的字段进行模型微调或评估。推荐将input和instruction作为模型输入，code和api_call作为目标输出，以训练模型生成准确的API调用代码。领域标签可用于条件生成或领域自适应训练，而messages字段则适合构建多轮对话系统。数据集已分片存储，支持高效流式加载，便于集成到标准训练流程中。

背景与挑战

背景概述

在人工智能与软件工程深度融合的浪潮中，大型语言模型（LLMs）调用外部API以执行复杂任务的能力成为研究前沿。API-Bench-TensorflowHub数据集由Eitan Turok等人于近期构建，旨在系统评估LLMs在TensorFlow Hub生态系统中理解和生成API调用的能力。该数据集聚焦于一个核心研究问题：模型能否根据自然语言指令，准确选择并调用适当的API函数，涵盖领域包括机器学习模型部署、数据处理等。其影响力在于为评估LLMs的工具使用能力提供了标准化基准，填补了现有基准在特定API生态（如TensorFlow Hub）上的空白，推动了智能代理在真实软件工程场景中的应用研究。

当前挑战

该数据集所解决的领域挑战在于，现有LLMs在API调用任务中常因缺乏对特定库（如TensorFlow Hub）的深度理解而产生错误，如函数参数不匹配或调用逻辑混乱。构建过程中面临的主要挑战包括：1) 数据收集的复杂性，需从TensorFlow Hub官方文档和示例中人工提取并结构化大量API调用实例，确保准确性与覆盖度；2) 任务设计的平衡性，需设计涵盖简单查询到多步推理的指令，以全面评估模型能力，同时避免数据泄露导致评估失真；3) 质量控制的严苛性，需通过多轮专家审核确保每个样本的input、instruction与api_call字段语义一致，消除歧义。

常用场景

经典使用场景

在人工智能与软件工程的交叉领域中，API-Bench-TensorflowHub数据集为评估和微调大型语言模型在应用程序编程接口（API）调用方面的能力提供了标准化基准。该数据集精心收集了来自TensorFlow Hub的API调用示例，每个样本包含自然语言指令、对应的API调用代码以及领域标签。研究者可借此衡量模型从自然语言描述中准确选择并生成正确API调用的性能，尤其在零样本或少样本学习场景下，该数据集成为检验模型泛化能力的黄金标准。

实际应用

在实际应用中，API-Bench-TensorflowHub直接赋能智能编程助手与自动化工作流系统的开发。基于该数据集训练的模型能够理解用户以自然语言描述的功能需求，并自动推荐或生成TensorFlow Hub中相应的API调用代码，显著降低开发者查阅文档和编写样板代码的认知负担。此外，该数据集还可用于构建智能对话接口，使非专业用户通过口语化指令即可调用复杂的机器学习模型服务，从而加速AI技术在各行业的普惠化落地。

衍生相关工作

API-Bench-TensorflowHub的发布催生了一系列经典后续工作，包括基于检索增强生成（RAG）的API推荐系统、针对多轮对话中API调用连贯性的评估框架，以及融合代码结构信息与语义嵌入的模型微调策略。研究者还以此为基础，拓展出跨平台API基准（如涵盖Hugging Face和PyTorch Hub的变体），进一步验证了数据集设计范式的可迁移性。这些衍生工作共同构建了一个从评估到优化的完整研究闭环，深刻影响了工具学习与代码生成领域的学术演进方向。