InfiX-ai/InfiGUIAgent-Data

该数据集包含与推理相关的轨迹数据，用于【InfiGUIAgent】项目训练的第二阶段。数据集的规模在1K到10K之间，语言为英文。更多信息请参考我们的项目仓库。This dataset contains trajectory data related to reasoning, used in the second stage of training for the InfiGUIAgent project. The dataset size is between 1K and 10K, and the language is English. For more information, please refer to our project repository.

搜集汇总

数据集介绍

构建方式

该数据集源自InfiGUIAgent项目，旨在为图形用户界面（GUI）智能体提供推理轨迹数据。其构建过程基于第二阶段训练需求，通过收集智能体在GUI环境中执行任务时的完整推理路径与操作序列，形成结构化的轨迹样本。数据来源涵盖多种GUI交互场景，确保轨迹的多样性与代表性。

特点

InfiX-ai/InfiGUIAgent-Data数据集的核心特点在于其专注于GUI智能体的推理过程，而非简单的操作记录。每条轨迹包含从任务理解到动作执行的完整逻辑链，支持复杂多步推理任务。数据规模介于1千至1万条之间，兼顾了样本质量与训练效率，适用于中小规模微调场景。

使用方法

该数据集主要面向文本生成任务，特别是GUI智能体的强化学习或监督微调阶段。使用时需将其加载为文本序列，每条轨迹可作为单独的样本输入模型。推荐结合InfiGUIAgent的原始论文与代码库进行预处理，以适配特定模型架构。数据采用Apache-2.0许可，便于学术与商业应用。

背景与挑战

背景概述

在人工智能领域，图形用户界面（GUI）智能体作为连接自然语言与数字世界的桥梁，正逐渐成为研究热点。InfiGUIAgent-Data数据集由Reallm-Labs研究团队于2025年发布，旨在推动GUI智能体的推理能力发展。该数据集收录了上千条精心设计的推理轨迹数据，这些数据作为第二阶段训练的核心素材，为智能体理解复杂界面操作逻辑、执行多步任务提供了关键支撑。其研究价值体现在填补了GUI智能体推理数据稀缺的空白，为构建更自主、更鲁棒的界面交互系统奠定了基础。

当前挑战

当前数据集面临的核心挑战在于如何应对GUI环境的动态性与多样性。一方面，真实世界的界面布局、控件类型与交互逻辑千变万化，现有轨迹数据难以覆盖长尾场景，导致智能体泛化能力受限。另一方面，数据构建过程本身充满困难：人工标注高质量推理轨迹成本高昂，且不同标注者可能产生不一致的操作序列；自动生成方法则面临语义理解偏差与路径冗余问题。此外，跨平台、跨应用的迁移学习需求对数据集的规模与结构提出了更高要求，如何在有限数据中提炼通用推理模式仍是未解难题。

常用场景

经典使用场景

在图形用户界面（GUI）自动化领域，智能体代理的推理能力与操作轨迹的协同优化一直是研究焦点。InfiGUIAgent-Data数据集作为InfiGUIAgent模型第二阶段训练的核心推理轨迹数据，为多模态大语言模型在GUI环境中的任务规划与执行提供了关键训练素材。其经典使用场景集中于训练具备复杂推理能力的GUI操作代理，通过包含步骤级决策与错误修复的轨迹样本，使模型能够理解界面状态变化、生成合理操作序列，并能在执行过程中进行自我纠正，从而显著提升在真实GUI场景下的任务完成率与鲁棒性。

实际应用

在实际应用中，基于该数据集训练的GUI智能体可广泛部署于软件自动化测试、智能办公助理、无障碍辅助工具等场景。例如，在软件质量保障领域，智能体能够模拟用户行为自动执行回归测试，并依据界面反馈动态调整操作策略，大幅降低人工测试成本。在数字包容性方面，该技术可用于开发面向视障用户的语音驱动界面导航系统，通过理解GUI布局与操作逻辑，将视觉信息转化为可执行的交互指令，从而弥合数字鸿沟。

衍生相关工作

围绕InfiGUIAgent-Data数据集，学术界已衍生出多项代表性工作。其核心论文提出了两阶段训练范式，首先通过大规模网页截图与指令对进行预训练，再借助该推理轨迹数据集进行深度强化，从而显著提升模型在PhoneArena、WebArena等基准测试中的表现。后续研究进一步探索了将轨迹数据与合成数据生成技术结合，用于构建更鲁棒的跨平台GUI代理。此外，该数据集还启发了关于推理过程可解释性的研究，通过分析轨迹中的中间决策，揭示模型在GUI任务中的认知机制。