squeeze-ai-lab/TinyAgent-dataset

TinyAgent数据集包含40,000个真实生活中的用例，用于训练小型语言模型(SLMs)，以实现在边缘设备上的复杂推理和函数调用能力。该数据集通过GPT-3.5-Turbo生成真实世界的指令，并利用GPT-4-Turbo生成合成执行计划，以支持模型的精细调整和优化。

原始信息汇总

TinyAgent: Function Calling at the Edge

TinyAgent 旨在为小型语言模型（SLMs）提供复杂的推理和函数调用能力，这些模型可以安全、私密地部署在边缘设备上。传统的巨型语言模型（LLMs）如 GPT-4 和 Gemini-1.5 虽然强大，但通常太大且资源密集，不适合边缘部署，存在隐私、连接性和延迟方面的挑战。TinyAgent 通过训练专门的高质量、精选数据 SLMs，并专注于函数调用，解决了这些挑战。

模型开发者： 加州大学伯克利分校的 Squeeze AI 实验室。

模型变体： TinyAgent 模型有两种大小：TinyAgent-1.1B 和 TinyAgent-7B。

许可证： MIT

训练详情

数据集： 我们精心策划了一个包含 40,000 个真实使用案例的数据集。我们使用 GPT-3.5-Turbo 生成真实世界的指令，然后使用 GPT-4-Turbo 获取合成执行计划。

微调过程： TinyAgent 模型从基础模型微调而来。以下是每个 TinyAgent 模型及其基础模型的对照表：

模型	成功率
GPT-3.5-turbo	65.04%
GPT-4-turbo	79.08%
TinyLLama-1.1B-32K-Instruct	12.71%
WizardLM-2-7b	41.25%
TinyAgent-1.1B + ToolRAG / [hf] [gguf]	80.06%
TinyAgent-7B + ToolRAG / [hf] [gguf]	84.95%

我们使用参数高效的微调方法 LoRA，对基础模型进行 3 个周期的微调。

🛠️ ToolRAG

面对挑战性任务时，SLM 代理需要适当的工具和上下文示例来指导它们。TinyAgent 使用 ToolRAG 来检索最适合给定查询的工具和示例，这一过程具有最低的延迟并显著提高了 TinyAgent 的准确性。