agicorp/Agentinstruct

AgentInstruct是一个精心策划的数据集，包含1,866个高质量交互，旨在通过任务推导和自我指导等创新方法，增强AI代理在六个不同现实世界任务中的表现。数据集的特点包括详细的思维解释、多样化的任务场景、精确的轨迹过滤以及严格的数据泄露检查。任务涵盖日常家务、数据库操作等多个领域，平均交互轮次从5到35不等。数据集还提供了基于AgentInstruct和ShareGPT数据集训练的AgentLM模型，模型规模包括7B、13B和70B。

原始信息汇总

数据集概述

数据集名称

• AgentInstruct

数据集特征

• conversations
  • from: string
  • loss: bool
  • value: string
• id: string

数据集拆分

• os
  • num_bytes: 660245
  • num_examples: 195
• db
  • num_bytes: 1436655
  • num_examples: 538
• alfworld
  • num_bytes: 1223363
  • num_examples: 336
• webshop
  • num_bytes: 1602648
  • num_examples: 351
• kg
  • num_bytes: 2960010
  • num_examples: 324
• mind2web
  • num_bytes: 159590
  • num_examples: 122

数据集大小

• download_size: 1255385
• dataset_size: 8042511

语言

• en

数据集详细信息

• 任务概览

  Task	# Filt. Traj.	Avg # Filt. Traj. Turns
  ALFWorld	336	13.52
  WebShop	351	3.68
  Mind2Web	122	1.00
  Knowledge Graph	324	6.04
  Operating System	195	3.85
  Database	538	2.06
  AgentInstruct	1866	5.24

• 数据集描述

  • CoT: 使用ReAct提供详细的思考解释，增强模型决策理解。
  • Diversity: 涵盖6种真实世界场景，交互平均回合数从5到35不等。
  • Precision: 严格筛选，确保高质量交互轨迹。
  • Assurance: 严格检查，避免数据泄露。

模型信息

• AgentLM 模型
  • 训练数据: AgentInstruct 和 ShareGPT 数据集
  • 对话格式: 遵循 Llama-2-chat 格式
  • 系统提示: "You are a helpful, respectful and honest assistant."
  • 模型大小: 7B, 13B, 70B
  • 可用性: 在 Huggingface 模型库中提供

引用信息

@misc{zeng2023agenttuning, title={AgentTuning: Enabling Generalized Agent Abilities for LLMs}, author={Aohan Zeng and Mingdao Liu and Rui Lu and Bowen Wang and Xiao Liu and Yuxiao Dong and Jie Tang}, year={2023}, eprint={2310.12823}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

AgentInstruct数据集的构建采取了对六个不同现实世界任务的精心策划，包含1866个高质量的交互。这些任务涵盖了操作系统、数据库、虚拟游戏世界、在线商店、知识图谱和思维链等场景。每个任务的数据都经过严格的过滤和质量控制，确保了数据的有效性和精确性。

特点

该数据集的特色在于其多样性和精准性。它不仅覆盖了从日常生活到专业数据库操作的各种场景，而且在数据质量上进行了严格的筛选，确保了模型的决策过程具有详尽的思维解释。此外，数据集的构建过程中考虑了避免数据泄露，保障了数据集的纯净性。

使用方法

使用AgentInstruct数据集时，用户可以从HuggingFace模型库中获取经过混合训练的AgentLM模型。这些模型遵循Llama-2-chat的对话格式，并配备固定的系统提示。用户可以根据自己的需求选择7B、13B或70B规模的模型，并在相应的任务场景中进行应用和评估。

背景与挑战

背景概述

AgentInstruct数据集，由清华大学知识工程实验室（THUDM）于2023年精心构建，旨在通过1,866条高质量交互记录，提升AI代理在六个真实世界任务中的表现。该数据集的构建采用了Task Derivation和Self-Instruct等创新方法，并利用ReAct框架为每一步行动提供详细的思维解释，确保了对模型决策过程的深刻理解。AgentInstruct数据集在多样性、精确性和数据质量上均进行了严格的控制和优化，对于促进大型语言模型在多任务环境下的泛化能力研究具有重要的参考价值。

当前挑战

AgentInstruct数据集在构建过程中面临了多个挑战，首先是如何确保所收集的交互轨迹的质量和有效性，通过严格的奖励机制对GPT-4的轨迹进行筛选，以确保数据集的优质性。其次，数据集的多样性带来了构建过程中的另一个挑战，即如何在保持任务真实性的同时，确保数据不发生泄漏。此外，数据集需要支持多种任务，这要求在数据预处理和模型训练时，充分考虑不同任务的特点和需求，以适应不同的应用场景。

常用场景

经典使用场景

在人工智能领域，AgentInstruct数据集以其高质量的交互对话，成为研究增强AI代理在真实世界任务中的决策能力的重要资源。该数据集通过精心设计的任务推导和自我指导方法，提供了跨越六个不同现实世界场景的1866个互动轨迹，为AI代理的智能决策提供了丰富的实践案例。

衍生相关工作

AgentInstruct数据集催生了一系列相关研究工作，包括AgentLM模型系列，这些模型在AgentInstruct和ShareGPT数据集上进行混合训练，进一步拓展了AI代理在多任务处理和复杂交互中的能力边界，为AI领域的发展贡献了新的视角和方法。

数据集最近研究

最新研究方向

在人工智能领域，AgentInstruct数据集的构建与运用正引领着智能对话系统的研究前沿。该数据集通过精心挑选的1866条高质量交互记录，旨在提升AI代理在六个不同现实世界任务中的表现，涉及任务推导和自我指导等创新方法。当前研究聚焦于如何通过严格奖励机制筛选GPT-4的轨迹，确保生成的交互质量上乘。此外，AgentInstruct数据集的多样化应用场景，如日常家庭 routine、数据库操作等，为AI代理的泛化能力提供了丰富的实践场域。该数据集的提出，不仅提高了智能对话系统的精确度和可靠性，也为大型语言模型在多任务环境下的能力拓展提供了新的研究视角。