hbx/IN3-interaction

IN3_interaction数据集旨在通过明确的任务模糊性判断和用户意图理解来测试代理的交互能力。该数据集用于构建对话记录，训练Mistral-Interact模型，该模型能够判断用户指令的模糊性，主动查询缺失的细节，并明确总结用户的详细意图。Mistral-Interact模型在理解用户判断、综合用户意图和增强模型与用户交互体验方面表现出色，并且在模糊性判断、总结的全面性和交互的友好性方面与闭源的GPT-4模型相当。IN3_interaction数据集旨在通过明确的任务模糊性判断和用户意图理解来测试代理的交互能力。该数据集用于构建对话记录，训练Mistral-Interact模型，该模型能够判断用户指令的模糊性，主动查询缺失的细节，并明确总结用户的详细意图。Mistral-Interact模型在理解用户判断、综合用户意图和增强模型与用户交互体验方面表现出色，并且在模糊性判断、总结的全面性和交互的友好性方面与闭源的GPT-4模型相当。

原始信息汇总

数据集卡片 for IN3_interaction

数据集概述

• 数据集名称: IN3_interaction
• 语言: 英语
• 许可证: Apache-2.0

数据集构建

• 构建目的: 测试代理的交互能力，通过明确的任务模糊判断和用户意图理解。
• 构建方法: 应用IN3构建对话记录进行训练。

模型应用

• 模型名称: Mistral-Interact
• 模型特点:
  • 更好的用户判断理解: 在所有开源模型中，Mistral-Interact在预测任务模糊性和用户认为必要的缺失细节方面表现最佳。
  • 用户意图的全面总结: Mistral-Interact能够根据详细的用户意图做出明确且全面的总结。
  • 增强的模型-用户交互体验: Mistral-Interact比其他开源模型更合理和友好地询问模糊任务中的缺失细节，从而促进对用户隐含意图的更清晰理解。
  • 与闭源GPT-4相当的性能: 证明了较小规模的模型专家可以在模糊判断、总结的全面性和交互友好性等方面接近甚至超过通用的大型模型。

引用

• 论文标题: Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents
• 作者: Cheng Qian, Bingxiang He, Zhong Zhuang, Jia Deng, Yujia Qin, Xin Cong, Zhong Zhang, Jie Zhou, Yankai Lin, Zhiyuan Liu, Maosong Sun
• 期刊: arXiv preprint arXiv:2402.09205
• 年份: 2024

搜集汇总

数据集介绍

构建方式

在智能体评估领域，现有基准测试通常预设任务清晰明确，忽略了用户意图理解这一关键维度。为弥补这一缺陷，研究者提出了意图交互基准IN3，旨在通过显式任务模糊性判断与用户意图理解来评估智能体的交互能力。该数据集的构建基于IN3基准，首先系统性地收集了包含任务模糊性与用户隐式意图的交互场景，随后通过对话记录的形式将这些场景转化为结构化的训练数据。具体而言，研究团队利用IN3框架生成了大量带有模糊指令和用户反馈的对话样本，这些样本涵盖了从任务清晰度判断到缺失细节查询的完整交互流程，最终形成了用于微调模型的交互数据集。

特点

该数据集的核心特点在于其聚焦于隐式意图理解的交互式设计。与常规的指令遵循数据集不同，IN3-interaction专门捕捉了用户指令中的模糊性与缺失细节，使得模型能够学习主动查询用户意图而非被动执行任务。数据集中包含了丰富的对话轮次，每轮对话都标注了任务模糊性标签、用户认为必要的缺失细节以及最终形成的清晰意图总结。这种多层次标注机制赋予了数据集独特的训练价值，不仅支持模型对任务清晰度的判断能力，还促进了模型在交互过程中以友好且合理的方式询问缺失信息，从而实现对用户隐式意图的全面理解。

使用方法

该数据集主要用于微调语言模型以增强其隐式意图理解能力，典型应用是将Mistral-7B适配为Mistral-Interact模型。使用时，研究者可直接从HuggingFace平台加载数据集，将其作为监督学习数据对基础模型进行指令微调。训练过程中，模型需要学习根据模糊的初始指令主动生成查询问题，并根据用户反馈逐步澄清任务细节。数据集的结构化对话格式支持序列到序列的训练范式，其中输入为历史对话上下文，输出为模型应生成的响应。此外，该数据集还可用于评估智能体在任务模糊性判断、意图总结全面性和交互友好性等方面的表现，为相关研究提供标准化测试基准。

背景与挑战

背景概述

在人工智能代理系统的评估中，现有基准测试普遍预设任务目标清晰明确，忽略了用户意图理解这一关键维度，导致对代理交互能力的评估存在显著盲区。为填补这一空白，由Cheng Qian、Bingxiang He等研究人员于2024年提出的IN3（Intention-in-Interaction）基准数据集应运而生，其研究团队来自清华大学自然语言处理实验室等知名机构。该数据集聚焦于代理在任务模糊性判断与用户隐含意图理解方面的交互能力，通过设计包含明确任务模糊性评估和用户意图理解的测试样本，系统性地衡量语言模型驱动的代理在真实人机交互场景中的表现。IN3的发布不仅推动了代理评估范式的革新，更通过其衍生模型Mistral-Interact证明了小规模专家模型在意图理解、交互友好性等维度可媲美甚至超越GPT-4等闭源大模型，对智能代理领域的发展具有里程碑式的影响。

当前挑战

当前数据集面临的核心挑战可分为两个层面。在领域问题层面，现有代理基准测试普遍忽略用户意图理解这一关键能力，导致评估结果无法真实反映代理在实际交互中的表现——用户指令往往隐晦、模糊且包含未明说的需求，而传统基准却假设任务描述清晰完整，这造成了代理系统在真实部署中意图捕捉不足的短板。在数据集构建过程中，研究者需解决如何系统性地生成包含明确任务模糊性判断与隐含意图理解的交互样本，同时确保样本覆盖多样化的用户指令类型与缺失细节场景；此外，构建高质量的人机对话记录以训练模型主动询问缺失信息、进行友好交互的能力，也面临着标注成本高、意图边界难以界定等实践挑战。

常用场景

经典使用场景

IN3-interaction数据集的核心经典使用场景在于构建和评估语言模型驱动的智能体在交互过程中的隐式意图理解能力。该数据集通过模拟用户与智能体之间的多轮对话，专门聚焦于用户指令的模糊性判断、缺失细节的主动询问以及用户意图的显式总结。研究者可借助此数据集训练模型，使其在任务初始阶段即能敏锐捕捉用户未言明的需求，从而提升智能体在复杂人机协作中的交互流畅度与任务完成质量。这一场景为探索人机交互中意图感知的边界提供了标准化的实验平台。

衍生相关工作

基于IN3-interaction数据集，研究者开发了Mistral-Interact模型，该模型在隐式意图理解方面展现出与GPT-4相媲美的性能，成为开源社区中交互式智能体的重要里程碑。后续工作围绕该数据集展开了一系列衍生研究，包括将意图理解模块作为上游组件集成到现有智能体框架中，以及探索多轮对话中动态意图追踪的强化学习策略。此外，该数据集还催生了关于任务模糊性自动分类与用户满意度建模的专项研究，推动了人机交互领域从指令响应向主动理解的系统性进化。

数据集最近研究

最新研究方向

在当前大语言模型驱动的智能体研究领域，用户意图理解与任务模糊性判断正成为突破传统评测框架的关键前沿。hbx/IN3-interaction数据集聚焦于“交互中的意图”（Intention-in-Interaction, IN3），旨在弥补现有智能体基准测试忽略用户意图理解的缺陷。该数据集通过构建包含明确任务模糊性判断与用户意图理解的交互记录，推动了隐式意图理解能力的提升。相关研究基于此数据微调出Mistral-Interact模型，其在任务模糊性预测、意图总结全面性及交互友好性上均展现出与闭源GPT-4相当的性能，标志着开源模型在复杂人机交互场景中的重大突破。这一方向不仅重塑了智能体评估标准，也为实现更自然、更主动的人机协作提供了数据基础与模型范本。