SMART-ER

SMART-ER数据集包含用于训练SMARTAgent模型的数据，这些数据被分为三个领域，原始数据可以进一步处理并用于多种目的。此外，还提供了指令调整数据对，可用于训练。

The SMART-ER dataset is designed for training the SMARTAgent model, encompassing original data from three domains and providing data pairs adjusted with instructions as well as training data with special tokens.

原始信息汇总

数据集概述：SMART-ER Dataset

数据集基本信息

• 名称：SMART-ER Dataset
• 用途：用于训练SMARTAgent模型家族，旨在平衡参数化知识和外部工具的使用，以减少工具过度使用并提升性能。
• 数据集地址：https://github.com/qiancheng0/Open-SMARTAgent/tree/main/data_raw
• 相关论文：https://arxiv.org/pdf/2502.11435v1

数据集内容

1. 原始数据：

   • 位于data_raw目录下，分为三个领域。
   • 包含推理链。

2. 指令调优数据：

   • 位于data_train/instruction_pair_data.json。
   • 可进一步处理为Alpaca格式用于训练。

3. 特殊标记训练数据：

   • 位于/shared/nas2/chengq9/open-smartagent/data_train/instruction_pair_data_indicator.json。
   • 包含特殊标记：[[AskUser]], [[Code]], [[Search]], [[Reasoning]]。

4. 推理数据：

   • 工具提示基线数据：文件名以_tool_prompt.json结尾。
   • SMARTAgent数据：文件名以_smart.json结尾。
   • 包含领域内测试数据（文件名以domain_开头）和领域外测试数据（文件名以ood_开头）。

数据集应用

• 训练：用于训练SMARTAgent模型家族。
• 推理：用于模型推理和评估。
• 评估：包含各领域的评估脚本，使用GPT作为评判标准。

相关模型

SMARTAgent模型家族包括以下五个模型：

1. SmartAgent-Llama-3.1-8B
2. SmartAgent-Llama-3.1-70B
3. SmartAgent-Mistral-7B-Instruct-v0.3
4. SmartAgent-Mistral-Nemo-Instruct-2407
5. Mistral-Small-24B-Instruct-2501

文件结构

• data_{SUFFIX}/：包含所有训练和推理数据（.json文件）。
• training/：包含使用LLaMA-Framework的训练相关文件。
• inference/：
  • utils_{TOOL_NAME}.py：不同外部工具的实现。
  • inference_{SUFFIX}.py：交互式推理实现。
• evaluate/：各领域测试数据的评估脚本。

引用

text @article{qian2025smart, title={SMART: Self-Aware Agent for Tool Overuse Mitigation}, author={Qian, Cheng and Acikgoz, Emre Can and Wang, Hongru and Chen, Xiusi and Sil, Avirup and Hakkani-Tür, Dilek and Tur, Gokhan and Ji, Heng.}, journal={arXiv preprint arXiv:2502.11435}, year={2025} }

搜集汇总

数据集介绍

构建方式

SMART-ER数据集旨在训练能够智能平衡参数化知识和外部工具使用的SMARTAgent模型，以减少工具过度使用并实现性能提升。该数据集的构建分为原始数据采集、数据预处理和指令调优数据对生成三个阶段。首先，原始数据被分为三个领域，经过进一步处理后可用于多种用途。其次，提供了指令调优数据对，以Alpaca格式进行训练后可用于模型训练。最后，特别设计的特殊标记被用于训练数据，以引导模型决策并探究决策信心。

特点

SMART-ER数据集的特点在于其领域多样性、数据质量的高标准以及特殊标记的创新应用。数据集覆盖了三个不同的领域，确保了模型的泛化能力。数据经过精心处理，保证了训练数据的质量和一致性。特殊标记的使用，使得模型能够更好地理解何时使用工具以及如何平衡工具使用，为工具过度使用缓解策略提供了新的视角。

使用方法

使用SMART-ER数据集首先需要安装必要的依赖包。训练模型时，可通过配置文件进行参数设置，并使用LLaMA-Factory框架进行训练。训练完成后，可使用提供的脚本进行模型推理和评估。用户需要根据自身需求调整路径和参数，以确保训练和推理过程的顺利进行。

背景与挑战

背景概述

SMART-ER数据集是伴随着SMART论文的研究而创建的，旨在训练能够智能平衡参数知识及外部工具使用，以减少工具过度使用并实现性能提升的SMARTAgent模型。该数据集由Qian Cheng和Emre Can Acikgoz等研究人员于2025年前共同开发，并在相关研究领域产生了显著影响。SMART-ER数据集涵盖了三个领域的原始数据和推理链，可用于多种目的的进一步处理。此外，数据集还提供了指令调整数据对，以Alpaca格式进行训练后可用于训练。SMARTAgent模型系列涵盖不同架构和规模的五个模型，均在Hugging Face上可用。

当前挑战

该数据集在构建过程中遇到的挑战包括：确保数据的多样性和代表性，以涵盖不同领域的工具使用情况；设计有效的指令调整格式以指导模型决策；以及开发能够准确评估模型性能的评价脚本。研究者在解决领域问题——工具过度使用缓解方面的挑战时，需面对如何平衡工具使用与模型性能之间的关系，以及如何在不同环境下保持模型的泛化能力。

常用场景

经典使用场景

SMART-ER数据集旨在训练能够智能平衡参数化知识和外部工具使用的SMARTAgent模型，以减轻工具过度使用并实现性能提升。该数据集的经典使用场景包括对SMARTAgent模型的训练，以及通过其提供的特殊指示符号（例如[[AskUser]]、[[Code]]、[[Search]]和[[Reasoning]]）进行决策引导，进而对模型的决策信心进行探查。

衍生相关工作

SMART-ER数据集衍生了多项相关工作，包括但不限于SMARTAgent模型在不同领域和任务中的应用研究，以及针对特定工具使用策略的优化方法研究，这些工作进一步扩展了SMART-ER数据集的应用范围和研究深度。

数据集最近研究

最新研究方向

SMART-ER数据集是用于训练SMARTAgent模型，该模型能够智能平衡参数化知识与外部工具的使用，以减轻工具过度使用并实现性能提升。近期研究围绕SMARTAgent在多个架构和规模上的模型开发，以及如何在推理过程中通过特殊标记（如[[AskUser]]、[[Code]]、[[Search]]和[[Reasoning]]）来指导模型决策，并探索这些决策的置信度验证。这些研究不仅推动了SMARTAgent模型在工具使用上的自我意识，还为自然语言处理领域中的工具使用策略和性能优化提供了新的视角。