xlam-function-calling-60k

数据集xlam-function-calling-60k由Salesforce AI Research创建，包含60,000条高质量的函数调用数据，覆盖21个不同类别的3,673个可执行API。数据集通过三阶段验证确保数据可靠性，包括格式检查、实际函数执行和语义验证。该数据集支持大规模和结构化的数据生成，适用于训练和测试函数调用代理模型，特别是在处理复杂和多样化的API使用场景中。数据集的应用领域广泛，从社交媒体到金融服务，旨在解决现有数据集静态且缺乏全面验证的问题，提升模型在真实世界应用中的准确性和效率。The dataset xlam-function-calling-60k, developed by Salesforce AI Research, contains 60,000 high-quality function call entries, covering 3,673 executable APIs across 21 distinct categories. Its reliability is ensured via a three-stage validation workflow, including format checks, actual function execution, and semantic verification. This dataset supports large-scale and structured data generation, and is suitable for training and testing function-call AI agent models, especially for handling complex and diverse API usage scenarios. With application areas ranging from social media to financial services, the dataset aims to address the issues that existing datasets are often static and lack comprehensive validation, so as to improve the accuracy and efficiency of models in real-world applications.

搜集汇总

数据集介绍

构建方式

APIGen数据集通过自动化数据生成流程构建，首先从API库中抽样API和查询-回答对（种子数据），然后将其格式化为标准化的JSON格式。选择提示模板来指导大型语言模型（LLM）生成相关的查询-回答对，每个答案都是一个格式化为JSON的函数调用。生成的函数调用经过多阶段验证过程，包括格式检查、实际函数执行和语义验证，以确保其可靠性和正确性。

特点

APIGen数据集的特点包括：1）数据质量：每个数据点经过严格的验证过程，确保其格式、执行和语义的正确性；2）数据多样性：数据集包括各种查询风格，如简单、多个、并行和并行多个函数调用，涵盖广泛的API类别；3）可扩展性：数据集采用统一的JSON格式，便于从不同来源（如Python函数和REST API）集成数据。

使用方法

使用APIGen数据集时，首先需要从Huggingface或项目主页下载数据集。然后，可以使用数据集中的查询-回答对来训练或评估函数调用模型。数据集的JSON格式便于数据提取和处理。此外，可以参考论文中提供的实验设置来进一步探索数据集的使用。

背景与挑战

背景概述

随着人工智能的进步，尤其是大型语言模型（LLMs）的发展，函数调用代理模型逐渐崭露头角。这些模型能够理解并执行基于自然语言指令的API调用，将LLMs的实用性扩展到与各种数字服务和应用程序的动态交互中。然而，函数调用代理模型的部署往往受到训练数据集质量的限制。当前的数据集大多静态且缺乏全面的验证，导致模型在真实世界应用中的微调可能不准确且效率低下。为了解决这一问题，Salesforce AI Research团队开发了APIGen，一个自动化的数据生成管道，旨在合成可验证的高质量数据集，以促进函数调用代理模型的发展。

当前挑战

尽管APIGen在生成高质量、多样化的函数调用数据集方面取得了显著成效，但其仍面临一些挑战。首先，该框架目前仅考虑REST API和Python函数，未来需要扩展以支持更多场景、编程语言和API。其次，尽管APIGen是一个通用框架，但目前仅实现了单次函数调用的生成过程。未来的工作将集中于扩展APIGen以处理多轮和更复杂的代理与工具之间的交互。此外，APIGen在数据生成过程中可能会生成一些低质量的数据点，需要通过严格的验证过程进行筛选，以确保数据集的质量。

常用场景

经典使用场景

该数据集主要用于训练和评估函数调用代理，特别是大型语言模型（LLMs）的函数调用能力。数据集包含60,000个高质量的条目，涵盖了21个不同类别的3,673个可执行API。每个数据点都经过三个层次阶段的验证：格式检查、实际函数执行和语义验证，确保其可靠性和正确性。该数据集旨在推动函数调用代理领域的发展，并为研究人员和开发人员提供一个用于训练和测试其模型的基础。

实际应用

该数据集的实际应用场景包括但不限于社交媒体平台、金融服务、教育、体育等多个领域。通过使用APIGen生成的数据集进行模型训练，可以开发出能够处理复杂查询、并行和多重函数调用的函数调用代理。这些代理可以在实际应用中执行各种任务，例如获取天气信息、预订餐厅、检索股票市场数据等。此外，APIGen生成的数据集还可以用于评估和比较不同LLMs的函数调用能力，促进该领域的技术发展。

衍生相关工作

APIGen的发布为函数调用代理领域的研究和发展提供了重要的基础。基于APIGen的数据集，研究人员和开发人员可以进一步探索LLMs的函数调用能力，开发出更强大、更高效的函数调用代理。此外，APIGen的框架还可以用于生成其他类型的数据集，例如自然语言处理、计算机视觉等。APIGen的发布为LLMs的函数调用能力的研究和应用开辟了新的可能性，并为相关领域的技术发展做出了重要贡献。