llm-agent-hallucination

该数据集包含了用户在与环境交互中的不同场景，如弹出干扰、任务边界外的查询、重复的交互历史错误、错误的交互历史错误、意外的环境转换、指定不明确的指示以及无法实现的目标状态等。每个场景都有相应数量的示例，数据集整体大小较大，分为多个部分。

搜集汇总

数据集介绍

构建方式

在智能体交互研究领域，该数据集通过系统化设计七类典型干扰场景构建而成。具体涵盖突发干扰、任务边界外查询、重复性交互错误、历史交互谬误、环境突变、指令模糊及目标不可达等情境，每个场景均经过精心设计的交互流程模拟，确保数据样本能够准确反映智能体在实际操作中可能面临的各种挑战。数据收集过程采用结构化标注方式，为每个样本标记任务名称、目标步骤和交互类别等关键维度。

特点

该数据集最显著的特征在于其多维度的场景覆盖与精细化的数据结构。七个子集分别对应不同的交互异常类型，从外部环境干扰到内部逻辑矛盾均有涉及，形成了完整的智能体行为分析框架。每个数据样本包含输入序列、任务目标、步骤编号及行为分类等结构化字段，便于研究者进行深度分析。数据规模分布均衡，既保证了各类场景的充分代表性，又为模型训练提供了充足的样本支持。

使用方法

研究人员可通过HuggingFace平台直接加载该数据集，按照七种预设场景划分进行针对性分析。使用时应根据研究需求选择相应子集，如评估智能体抗干扰能力可重点采用突发干扰子集，研究指令理解则侧重指令模糊子集。数据字段中的任务名称和目标步骤信息可用于构建细粒度的评估指标，而重复行为分类字段则有助于分析智能体的行为模式一致性。建议在使用前充分理解各场景定义，以确保分析结果的准确性。

背景与挑战

背景概述

随着大型语言模型在智能代理领域的广泛应用，其行为可靠性与决策透明度成为关键研究课题。llm-agent-hallucination数据集由前沿人工智能研究机构于2023年创建，旨在系统化探索语言模型在交互环境中产生的认知偏差问题。该数据集通过构建多模态任务场景，聚焦于智能代理在复杂指令理解、环境状态追踪及动作规划过程中出现的幻觉现象，为提升自主系统的因果推理能力提供了重要实证基础。

当前挑战

该数据集需解决智能代理在动态环境中保持行为一致性的核心难题，具体体现为七类典型场景：突发干扰事件的认知过滤、任务边界外查询的语义解析、重复动作序列的冗余检测、错误交互历史的因果修正、环境状态突变的适应性响应、模糊指令的意图还原以及不可达目标的逻辑推理。在数据构建过程中，需精确模拟人类与环境的非线性交互特征，平衡现实场景复杂性与标注可扩展性，同时确保不同故障模式在数据分布中的代表性。

常用场景

经典使用场景

在大型语言模型智能体交互研究中，该数据集通过模拟七类典型干扰场景，如突发干扰和错误交互历史，为评估模型在复杂环境下的鲁棒性提供了基准。研究者利用这些结构化数据测试智能体在任务执行过程中对意外输入的响应能力，从而揭示模型在动态对话中的行为模式。

解决学术问题

该数据集系统性地解决了智能体幻觉现象量化评估的难题，通过标注重复行为、不可达目标等异常情境，为识别模型逻辑矛盾提供了实证基础。其多维度标注框架推动了可信人工智能领域的发展，使研究者能够精准定位语言模型在长程推理中的认知偏差。

衍生相关工作

基于该数据集衍生的研究已催生出多项重要成果，包括针对交互历史纠错的记忆增强架构、面向边界任务的多轮对话评估指标等。这些工作进一步拓展了鲁棒性测试范式，为后续基于强化学习的幻觉抑制方法提供了验证基础。