AgentHazard

AgentHazard是一个可扩展的攻击模拟框架，用于在Android应用程序中灵活且针对性地修改屏幕内容。该框架旨在通过动态任务执行环境和静态数据集中的视觉语言动作元组，模拟第三方在不具备系统权限的情况下，如何通过修改特定UI元素内容来误导移动GUI代理。数据集包含超过3000个攻击场景，通过在应用程序中动态注入误导性内容，模拟真实场景中第三方可能对代理造成的误导。AgentHazard is a scalable attack simulation framework designed to enable flexible, targeted modifications of screen content within Android applications. This framework simulates how third parties lacking system-level privileges can mislead mobile GUI agents by altering the content of specific UI elements, utilizing dynamic task execution environments and vision-language action tuples from static datasets. The dataset contains over 3,000 attack scenarios, which replicate the potential misleading impacts that third parties could impose on agents in real-world scenarios by dynamically injecting misleading content into applications.

搜集汇总

数据集介绍

构建方式

AgentHazard数据集通过一个高度可配置和可扩展的攻击模拟框架构建，该框架能够灵活地在现有Android应用中修改屏幕内容。具体而言，数据集包含动态任务执行环境和静态视觉-语言-动作（VLA）元组两部分。动态环境基于Android World，扩展了58个可复现任务和500多个攻击场景；静态数据集则从14个流行商业应用的210个屏幕截图中构建，生成了840个VLA元组和超过2500个攻击场景。攻击内容通过实时注入UI元素树和屏幕截图来模拟第三方误导信息，确保攻击的隐蔽性和可行性。

特点

AgentHazard数据集的核心特点在于其全面性和真实性。首先，它覆盖了多样化的攻击场景，包括简单指令、中等复杂度的上下文误导以及人工设计的复杂攻击模式。其次，数据集模拟了真实世界中第三方可能操纵的内容区域，如社交媒体帖子或商品描述，确保了攻击的可行性。此外，数据集还支持多模态评估，涵盖了文本、视觉和混合模态的代理模型，为研究移动GUI代理的鲁棒性提供了丰富的数据支持。

使用方法

AgentHazard数据集的使用方法分为动态和静态两部分。动态任务执行环境允许研究者在模拟的Android环境中评估代理模型在面对实时注入的误导内容时的行为，记录任务成功率和误导率。静态数据集则适用于离线评估，研究者可以通过分析视觉-语言-动作元组，测试代理模型在受控环境下的表现。数据集还提供了详细的攻击配置和评估指标，便于研究者进行不同攻击复杂度、误导动作类型以及多模态组合的实验分析。

背景与挑战

背景概述

AgentHazard数据集由清华大学AIR研究院、电子科技大学及小米AI实验室的研究团队于2025年联合发布，旨在系统评估移动GUI智能体在第三方内容操纵场景下的脆弱性。该数据集构建于AndroidWorld动态任务执行环境，包含58项可复现任务及840组视觉-语言-动作三元组，覆盖14款主流商业应用，模拟了3,000余种攻击场景。作为首个针对无权限第三方内容注入的基准测试平台，其创新性地通过实时GUI劫持技术实现了对原生UI元素的可控修改，填补了移动端智能体安全评估领域的空白，为后续智能体抗干扰能力研究提供了标准化测试框架。

当前挑战

该数据集主要应对两大核心挑战：在领域问题层面，需解决移动GUI智能体易受第三方误导内容干扰的缺陷，例如社交媒体的虚假帖子或电商平台的欺诈性商品描述导致智能体执行非预期操作；在构建过程中，需突破攻击场景的真实性与隐蔽性平衡难题，包括设计视觉无痕的内容注入机制、确保攻击在无系统权限下的可行性，以及建立覆盖多模态（文本/视觉）多复杂度（简单指令到人工精心设计的误导内容）的评估体系。此外，动态环境下的实时状态同步与大规模攻击场景的自动化生成亦构成显著技术壁垒。

常用场景

经典使用场景

AgentHazard数据集在移动GUI代理的安全性研究中扮演了重要角色，特别是在模拟第三方内容篡改攻击方面。该数据集通过动态任务执行环境和静态视觉-语言-动作元组数据集，为研究者提供了一个全面的测试平台，用于评估代理在面对恶意UI内容时的表现。

实际应用

在实际应用中，AgentHazard数据集被广泛用于测试和优化商业移动GUI代理的安全性。例如，在社交媒体和电子商务应用中，该数据集帮助开发者识别代理可能被恶意内容误导的风险点，从而设计更安全的交互机制。

衍生相关工作

基于AgentHazard数据集，研究者们开发了多种改进移动GUI代理安全性的方法。例如，一些工作提出了新的对抗训练策略，以增强代理对误导内容的识别能力；另一些研究则探索了多模态融合技术，以减少视觉内容对代理决策的负面影响。