ConflictGUI

ConflictGUI是一个用于评估GUI代理在交互过程中对冲突情境感知能力的基准数据集。该数据集包含两个划分：校准集（1,164个样本）和测试集（3,496个样本），每个样本分为三类：可行（Feasible）、冲突1（Conflict1）和冲突2（Conflict2）。数据来源于AMEX、AndroidControl和AITZ三个现有数据集，其中冲突指令和标签由作者重新标注，而截图和原始指令遵循各自上游数据集的许可条款。每个样本包含图像路径（相对路径，需下载完整仓库解析）和文本指令。该数据集适用于图像-文本到文本的多模态任务，专门用于评估GUI代理在存在冲突指令时的决策能力。ConflictGUI is a benchmark dataset for evaluating the ability of GUI agents to perceive conflict situations during interaction. The dataset consists of two splits: a calibration set (1,164 samples) and a test set (3,496 samples), each sample categorized into three classes: Feasible, Conflict1, and Conflict2. The data originates from three existing datasets: AMEX, AndroidControl, and AITZ, where conflict instructions and labels are re-annotated by the authors, while screenshots and original instructions follow the license terms of their respective upstream datasets. Each sample includes an image path (relative path, requiring download of the full repository for resolution) and a text instruction. This dataset is suitable for image-text-to-text multimodal tasks, specifically designed to evaluate the decision-making ability of GUI agents in the presence of conflicting instructions.

原始信息汇总

ConflictGUI数据集概述

基本信息

• 数据集名称：ConflictGUI
• 语言：英语（en）
• 许可证：自定义混合许可（conflictgui-mixed-source-terms），具体条款见LICENSE_DATASET.md
• 任务类别：图像-文本到文本（image-text-to-text）

数据集用途

ConflictGUI是一个用于评估GUI智能体冲突感知能力的基准测试数据集。旨在测试GUI智能体在面对界面中存在的冲突指令或元素时的识别与处理能力。

数据划分与规模

数据集包含calibration和test两个划分，具体样本数量如下：

划分	可行任务	冲突类型1	冲突类型2	总计
Calibration	564	300	300	1,164
Test	1,800	822	874	3,496

• 可行任务（Feasible）：无冲突的正常任务样本。
• 冲突类型1与冲突类型2：包含两类不同冲突场景的任务样本。

数据来源

ConflictGUI基于以下三个上游数据集构建：

• AMEX
• AndroidControl
• AITZ

其中，冲突指令和标签为新增注释，而截图和原始指令遵循各自上游数据集的许可条款。因此，数据集整体采用混合来源的许可协议。

图像路径说明

每个样本中都包含相对路径的图像引用，示例格式如下：

images/AMEX_1_clean.png

由于图像路径为数据集目录相对路径，用户需先完整下载整个数据集仓库，方可正确解析并加载这些图像文件。

搜集汇总

数据集介绍

构建方式

ConflictGUI数据集的构建依托于三大源自真实GUI交互场景的既有资源——AMEX、AndroidControl与AITZ，通过精心设计的流程融合而成。其核心创新在于为原始指令与截图对引入了冲突感知的新维度，即人工标注出两种层次的指令冲突：直接冲突与间接冲突，从而模拟了GUI智能体在实际操作中可能遭遇的模糊与矛盾情境。构建过程严谨地保留了上游数据的图像与原始指令，仅对冲突注释与语义标签进行了原创性增强，确保了数据集在继承真实场景复杂性的同时，具备针对冲突处理的专业评测能力。

使用方法

使用ConflictGUI时，研究者需先下载完整仓库以确保图像文件与JSON标注的路径对应无误。数据以标准JSON格式组织，包含校准集与测试集，可便捷地加载至基于PyTorch或transformers的评估框架中。评测流程应让模型针对每个带有潜在冲突的指令与图像对进行响应生成，再依据冲突标签进行准确率计分。建议先利用校准集调试模型性能基线，再于测试集上进行最终验证，从而系统衡量智能体识别并化解指令冲突的能力，推动GUI自动化Agent向更高层次的理解与交互演进。

背景与挑战

背景概述

ConflictGUI数据集诞生于大型语言模型驱动的图形用户界面代理迅猛发展的时代，由serein356等研究人员于近期构建，旨在系统评估GUI代理在复杂界面交互中的冲突感知能力。该基准融合了AMEX、AndroidControl与AITZ三大源数据集的丰富场景，新增了精心标注的冲突指令与标签，构建了包含3496个测试样本及1164个校准样本的综合评估体系，覆盖可行操作与两类冲突情形。其核心研究问题聚焦于GUI代理在意图与界面状态矛盾时的决策鲁棒性，为智能体安全性评估提供了关键视角。该数据集的发布填补了冲突场景量化评测的空白，对推动GUI代理在真实应用中的可靠部署具有重要参考价值。

当前挑战

ConflictGUI所应对的领域挑战在于，GUI代理需在界面元素状态与用户指令存在隐含或显式冲突时做出正确判断，而多数现有基准仅验证代理执行确定性指令的能力，忽略了意图冲突情境下的决策考量和界面动态变化引发的歧义，导致代理在实际交互中可能执行错误操作。构建过程中，需从异构的AMEX、AndroidControl及AITZ数据中筛选并重构冲突场景，保证冲突指令的语义清晰性与标签一致性，同时协调不同来源数据的许可条款，并解决截图与原始指令关联时的路径映射和版本同步问题，最终形成校准与测试分离的高质量评估集，其过程复杂且耗时。

常用场景

经典使用场景

ConflictGUI作为一个专为评估图形用户界面（GUI）代理冲突意识而设计的基准数据集，其经典应用场景聚焦于多模态交互环境下的智能体能力检验。该数据集整合了来自AMEX、AndroidControl和AITZ的丰富实例，并精心构建了包含校准与测试两阶段的样本体系，其中测试集涵盖可行任务、冲突类型一及冲突类型二，旨在系统性地度量智能体在面对GUI操作指令间潜在矛盾时的识别与响应效能。这一基准不仅为GUI代理研究提供了标准化的评测平台，还促进了人机交互中冲突检测与解决机制的深层次探索。

解决学术问题

在学术研究领域，ConflictGUI致力于弥补当前GUI代理评估中对于冲突情境关注的不足。既有基准多侧重于任务完成度或步骤准确性，而鲜少涉及指令内或跨指令的语义冲突处理，导致智能体在真实世界动态界面中的鲁棒性评估欠缺全面性。ConflictGUI通过引入精心标注的冲突样本，使研究者能够量化分析模型对GUI状态中信息不一致性的敏感度，进而推动冲突意识建模、决策融合策略及多源指令协调等领域的研究，增强了智能体在复杂人机交互场景中的可解释性与适应性。

实际应用

在实际应用层面，ConflictGUI所塑造的冲突敏感型评估体系对于自动化软件测试、智能助手及无障碍技术等方向具有广泛借鉴价值。例如，在移动应用自动化测试中，GUI代理需根据屏幕内容动态调整操作，而ConflictGUI所涵盖的冲突类型有助于训练模型识别界面元素因状态变迁导致的矛盾提示，从而减少误触操作。此外，在开发基于视觉的交互式协助系统时，此数据集可作为验证模型处理歧义指令能力的试金石，推动更可靠、更智能的人机协作工具落地，进而提升用户在日常数字操作中的体验与效率。

数据集最近研究

最新研究方向

ConflictGUI基准的诞生标志着GUI智能体研究迈入冲突感知的新纪元。随着大语言模型驱动的自动化界面操作日益普及，如何评估智能体在指令冲突情境下的决策能力成为关键挑战。该数据集整合AMEX、AndroidControl与AITZ三大来源，精心构建了包含5460余个样本的冲突场景，涵盖校准与测试双轨体系。其创新性地将冲突划分为两类，为量化分析智能体对矛盾指令的识别与应对提供了标准化标尺。此基准不仅填补了GUI智能体评估中冲突处理能力的空白，更推动了鲁棒性人机交互系统的发展，对实现真正自主且安全的数字代理具有里程碑意义。