Navi-plus|GUI自动化数据集|智能用户界面数据集

Navi-plus数据集由北京邮电大学等机构的研究人员创建，旨在支持自修正GUI导航任务，该任务使GUI智能体能够处理用户任务描述中的模糊信息。数据集通过在现有轨迹数据集基础上生成模糊任务描述和相应的GUI后续问答对构建而成。数据集的应用领域是GUI自动化，旨在解决用户在传达任务时遗漏关键信息的问题。

AI搜集汇总

数据集介绍

构建方式

Navi-plus数据集的构建采用了多阶段的自动化流程。研究团队以AndroidControl和Mind2Web这两个高质量人工标注数据集为基础，首先利用InternVL2.5-26B模型为轨迹中的每个步骤生成底层操作指令。随后通过DeepSeek-V3模型智能识别信息性步骤与事务性步骤，并刻意生成包含关键信息缺失的模糊任务描述。最后采用对话生成技术，为每个信息性步骤自动构建GUI后续问答对，形成完整的自我修正导航数据。

使用方法

使用Navi-plus数据集时，研究人员可采用端到端的微调范式。建议将原始屏幕截图与操作轨迹作为输入，通过多模态大语言模型同时学习GUI元素定位和缺失信息推断能力。评估阶段需采用论文提出的双流轨迹评估方法：对ASK动作采用宽松的位置容错机制，允许模型提前发起询问；同时通过二次推理机制将问答对注入上下文，确保后续操作的正确性。数据集已预划分训练验证测试集，支持跨平台模型性能对比研究。

背景与挑战

背景概述

Navi-plus数据集由北京邮电大学和商汤科技的研究团队于2025年提出，旨在解决图形用户界面（GUI）自动化代理在处理模糊用户任务时的关键挑战。该数据集创新性地引入了自我修正GUI导航任务，通过添加ASK动作使代理能够主动询问缺失信息，从而弥补用户指令中的信息遗漏问题。作为首个包含GUI后续问答对的数据集，Navi-plus不仅重构了AndroidControl和Mind2Web等轨迹数据集，还提出了双流轨迹评估方法，为GUI代理的交互式信息补全能力建立了标准化基准。这项研究标志着GUI自动化从单向执行向双向交互的重要范式转变，对提升智能设备的自然交互体验具有深远意义。

当前挑战

Navi-plus数据集面临的核心挑战体现在两个维度：在领域问题层面，传统GUI代理无法处理用户指令的信息缺失问题，导致任务成功率显著下降，这要求代理需具备动态信息补全与多轮对话能力；在构建过程中，研究团队需精准识别轨迹中的信息性步骤与非信息性步骤，并通过大语言模型生成语义连贯的模糊任务描述与问答对，同时确保生成数据与原始轨迹的逻辑一致性。此外，评估体系的创新也构成重要挑战，传统的单流评估方法无法有效衡量提前询问行为，促使研究者开发出能区分操作动作与询问动作的双流评估框架。

常用场景

经典使用场景

Navi-plus数据集在图形用户界面（GUI）自动化代理领域具有广泛的应用场景，特别是在处理用户任务描述模糊的情况下。该数据集通过引入交互式信息补全能力，使GUI代理能够在用户任务描述不完整时主动提出后续问题，从而恢复任务执行的性能。这一特性在移动应用和网页平台的自动化任务中尤为重要，例如在线购物、表单填写等需要用户提供多步骤信息的场景。

解决学术问题

Navi-plus数据集解决了GUI自动化代理在处理模糊任务描述时的性能下降问题。通过引入ASK动作和双流轨迹评估方法，该数据集为研究者提供了一个标准化的基准，用于评估代理在信息不完整情况下的表现。这一创新不仅填补了现有GUI导航任务范式的空白，还为多模态大语言模型（MLLMs）在交互式任务中的应用提供了新的研究方向。

实际应用

在实际应用中，Navi-plus数据集可显著提升GUI自动化代理的实用性和鲁棒性。例如，在电子商务平台中，代理能够通过主动询问用户遗漏的关键信息（如商品规格、配送方式等）来完成订单处理。此外，该数据集还可应用于智能客服、办公自动化等领域，帮助代理在复杂任务中实现更高的完成率和用户体验。

数据集最近研究

最新研究方向

在图形用户界面(GUI)自动化领域，Navi-plus数据集的最新研究聚焦于解决用户任务描述模糊性这一关键挑战。该研究创新性地提出了自校正GUI导航任务范式，通过赋予智能体主动询问缺失信息的能力，显著提升了复杂场景下的任务完成率。当前研究热点集中在多模态大语言模型与GUI元素的深度交互，特别是如何通过双流轨迹评估方法精确量化智能体的信息补全能力。这一突破性进展为构建具备实时人机对话能力的下一代GUI代理奠定了理论基础，同时为智能客服、无障碍辅助技术等应用场景提供了关键技术支撑。

相关研究论文

• Navi-plus: Managing Ambiguous GUI Navigation Tasks with Follow-up

  北京邮电大学 · 2025年