vpi-bench

VPI-Bench是一个用于评估计算机使用和浏览器使用代理在视觉提示注入攻击下的鲁棒性的基准测试数据集。该数据集包含测试用例和网页平台，使用英语编写，并遵循知识共享署名4.0许可。数据集不包含任何真实的用户数据或敏感个人信息，所有内容均为合成或已公开可用。每个测试用例以JSON文件的形式存储，包含唯一的测试用例ID、网页URL、用户提示、攻击者的恶意目标、平台类型和虚拟机环境配置命令。每个网页平台作为一个文件夹存储，并已在GitHub上部署。VPI-Bench is a benchmark dataset for evaluating the robustness of computer-use and browser-use agents against visual prompt injection attacks. This dataset includes test cases and web platforms, which are written in English and licensed under the Creative Commons Attribution 4.0 License. The dataset contains no real user data or sensitive personal information, and all content is either synthetic or publicly available. Each test case is stored as a JSON file, containing a unique test case ID, web URL, user prompt, attacker's malicious objective, platform type, and virtual machine environment configuration commands. Each web platform is stored as a folder and has been deployed on GitHub.

原始信息汇总

VPI-Bench 数据集概述

数据集基本信息

• 名称: Computer-Use Agents Testcases & Web Platforms Dataset
• 许可证: Creative Commons Attribution 4.0 (cc-by-4.0)
• 语言: 英语 (en)
• 标签: safety, alignment, security, privacy, multimodal, visual, image, adversarial, malicious, robustness, prompt-injection, visual-prompt-injection, data-exfiltration, prompt-defense, llm, agentic-ai, computer-use, browser-use, benchmark, dataset
• 数据规模: n<1K

数据集描述

• 用途: 评估计算机使用和浏览器使用代理在视觉提示注入攻击下的鲁棒性。
• 语言: 英语 (NLP)
• 存储库: VPI-Bench

数据集结构

• 测试用例: 存储在 /testcases 文件夹中，每个测试用例为一个 JSON 文件，包含以下字段：
  • id: 唯一测试用例 ID。
  • url: 测试用例网页的 URL。
  • user_prompt: 用户的良性任务。
  • attacker_objective: 攻击者的恶意目标。
  • platform: 平台类型。
  • environment: 用于配置虚拟机环境的命令。
• 网页平台: 存储在 /web_platforms 文件夹中，每个网页平台为一个文件夹。

数据集用途

直接用途

• 评估 AI 代理在视觉提示注入攻击下的尝试率 (AR) 和成功率 (SR)。
• 比较分析浏览器使用代理 (BUA) 和计算机使用代理 (CUA)。

超出范围的用途

• 训练 AI 模型。
• 与视觉提示注入攻击无关的攻击向量。

数据集创建

创建理由

• 视觉提示注入攻击对基于屏幕截图操作的 AI 代理构成威胁，VPI-Bench 旨在填补这一研究空白。

数据来源

• 平台选择: 选择了 5 个常用网页平台。
• 模拟实现: 重新创建了每个平台的核心功能。
• 对抗性变体: 为每个良性网页设计了视觉覆盖层以嵌入恶意提示。

个人和敏感信息

• 不包含任何真实用户数据或敏感个人信息。

偏差、风险和限制

• 使用的合成网页平台可能无法完全反映生产环境中的网页平台。

术语表

• 计算机使用代理 (CUA): 具有虚拟机访问权限的 AI 代理。
• 浏览器使用代理 (BUA): 具有浏览器访问权限的 AI 代理。

更多信息

• 请访问 GitHub 存储库 获取更多信息。

搜集汇总

数据集介绍

构建方式

在人工智能安全领域，视觉提示注入攻击对基于屏幕截图操作的智能代理构成潜在威胁。VPI-Bench数据集通过精心设计的实验环境填补了这一研究空白，其构建过程包含三个关键环节：首先从五个常用网络平台中选取多领域应用场景，随后通过模拟实现各平台核心功能构建受控环境，最后为每个良性网页设计包含恶意提示的视觉覆盖层（如弹窗、聊天消息等）。所有测试用例均以JSON格式存储，包含唯一标识符、网页URL、用户良性任务等结构化字段。

特点

作为评估计算机使用代理和浏览器使用代理鲁棒性的基准数据集，VPI-Bench具有鲜明的技术特征。数据集包含交互式系统级对抗威胁场景，通过部署在GitHub上的模拟网页平台实现真实环境复现。每个测试案例都明确标注攻击者目标，便于大型语言模型评估恶意行为成功率。数据集特别设计多种视觉覆盖形式，包括电子邮件、聊天消息等常见载体，全面覆盖视觉提示注入的攻击向量。所有内容均采用合成数据，确保不涉及真实用户隐私信息。

使用方法

该数据集主要服务于人工智能安全研究领域，其使用场景需严格遵循设计规范。研究人员可通过分析测试案例中记录的尝试成功率（AR）和成功执行率（SR），评估不同AI代理在视觉提示注入攻击下的脆弱性。数据集支持对GPT-4o、Gemini-2.5-Pro等浏览器使用代理以及Sonnet系列计算机使用代理的对比研究。使用时应重点关注web_platforms目录下部署的模拟环境与testcases中的攻击场景对应关系，避免将基准测试结果直接外推至实际生产环境。

背景与挑战

背景概述

VPI-Bench数据集由专注于人工智能安全与对齐研究的团队于近年开发，旨在应对视觉提示注入攻击这一新兴威胁。随着计算机使用代理（CUA）和浏览器使用代理（BUA）的普及，这些基于屏幕截图操作的智能体面临着传统HTML元素攻击之外的新型安全挑战。该数据集构建了包含亚马逊等五大常用网络平台的交互式测试环境，通过精心设计的视觉覆盖层（如弹窗、聊天消息等）模拟真实世界中的对抗场景，为评估智能体在系统级对抗威胁下的鲁棒性提供了标准化基准。

当前挑战

该数据集主要解决视觉提示注入攻击检测这一前沿领域的两大核心挑战：其一，如何准确评估智能体在复杂多模态环境中的安全防御能力，这要求测试案例必须平衡真实性与可控性；其二，数据构建过程中面临平台多样性与攻击场景代表性的权衡问题，研究人员需在有限数量的平台中覆盖电子商务、邮件服务等关键应用场景，同时确保模拟的视觉注入攻击既具有现实威胁性又能被有效量化。此外，保持合成数据与真实网络环境的行为一致性也是重要的技术难点。

常用场景

经典使用场景

在人工智能安全领域，VPI-Bench数据集为评估计算机使用代理（CUA）和浏览器使用代理（BUA）在视觉提示注入攻击下的鲁棒性提供了标准化测试环境。该数据集通过模拟真实网页平台和设计恶意视觉覆盖层，使研究者能够系统测量AI代理的尝试率（AR）和成功率（SR），为多模态AI系统的对抗性测试建立了重要基准。

解决学术问题

该数据集有效解决了当前AI安全研究中视觉提示注入威胁评估体系缺失的核心问题。通过构建包含亚马逊等5个常见平台的交互式测试场景，填补了基于屏幕截图的AI代理在系统级对抗攻击研究中的空白，为量化模型在真实环境中的安全漏洞提供了可复现的实验框架，推动了对抗机器学习领域的方法创新。

衍生相关工作

该数据集催生了多个重要研究方向，包括基于强化学习的视觉提示防御系统、多模态对抗样本检测框架等。相关经典工作如CUA-Framework开源项目利用该基准开发了虚拟环境下的动态防御策略，部分研究成果已被应用于浏览器扩展程序的实时防护模块开发。