ScreenLeak

ScreenLeak是一个多模态基准，用于测量当今工具从屏幕遥测、渲染截图和多步计算机使用轨迹中编辑个人身份信息（PII）的效果，以便为下一代计算机使用人工智能的数据基础提供支持。它包括文本基准（窗口标题、AX节点、OCR片段）、图像基准（包含PII的渲染截图）和跟踪基准（总结带有注入PII的屏幕内容），旨在评估模型在检测和避免PII泄露方面的能力。

ScreenLeak is a multimodal benchmark designed to measure the efficacy of current tools in redacting Personally Identifiable Information (PII) from screen telemetry, rendered screenshots, and multi-step computer usage trajectories, so as to support the data infrastructure for next-generation computer-use AI. It includes three types of benchmarks: textual benchmarks (window titles, AX nodes, OCR snippets), image benchmarks (rendered screenshots containing PII), and tracking benchmarks (summarized screen content with injected PII), aiming to evaluate models' capabilities in detecting and avoiding PII leaks.

原始信息汇总

ScreenLeak 数据集详情

概述

ScreenLeak 是一个多模态基准测试数据集，用于评估当前工具在屏幕遥测、渲染截图和多步骤计算机操作痕迹中，对个人身份信息（PII）的脱敏效果。其核心目标是测量计算机操作AI模型在任务执行过程中泄露敏感信息的程度。

核心发现（v0版本）

文本脱敏能力

• 前沿API表现最佳：Gemini 3.1 Pro、GPT-5.5、Claude Opus 4.7的零泄露率分别达到91.0%、90.7%、87.8%，显著优于最强本地模型（privacy_filter_ft_v6，80.9%）。
• 商业DLP产品表现不佳：Google Cloud DLP（37.7%）和Microsoft Presidio（35.4%）仅略优于手写正则（33.9%），因为这些产品原本为文档处理设计，不适用于屏幕遥测文本。

图像脱敏能力

• 前沿API无法定位像素级PII：所有前沿模型的零泄露率（2.1%-4.2%）与Tesseract+正则管道（2.6%）无统计差异。
• 专用小模型表现卓越：本地微调的RF-DETR模型（rfdetr_v8）零泄露率达95.3%，远超所有其他方法。

痕迹脱敏能力

• GPT-5.5表现最佳：零泄露率64.0%，但仍有36%的痕迹泄露至少一个PII项。
• Gemini 3.1 Pro表现最差：零泄露率仅20.0%，在80%的痕迹中泄露PII。

三个子基准

子基准	测量内容	语料规模
text/	给定桌面遥测文本（窗口标题、AX节点、OCR片段），找出PII区间	422个手工构建案例，13个类别，包含多语言和对抗性拆分
image/	给定渲染屏幕截图，找出包含PII的像素区域	2,206张合成截图，覆盖9个真实应用模板，带逐像素DOM提取边界框
trace/	给定包含PII的多步计算机操作痕迹，评估模型输出是否泄露信息	50条痕迹（25训练+25验证），注入PII后评分

所有子基准使用相同的12类PII分类体系。

数据集特点

• 首个公开基准：专门测量计算机操作视觉和代理模型中的敏感信息披露。
• 三种失败模式独立测量：能力（文本基准）≠像素定位（图像基准）≠行为意愿（痕迹基准）。
• 小样本运行支持：提供30行样本语料，可端到端运行任何适配器。

仓库内容

• 三个子基准的完整评分代码
• 所有基准测试过的适配器（Claude、GPT-5.5、Gemini、Google Cloud DLP、Microsoft Presidio、GLiNER、privacy_filter系列、RF-DETR、正则基线）
• 方法论、威胁模型、类别体系、局限性和引用信息
• 每个子基准的30行样本语料

联系方式

• 邮箱：[e-mail]
• 博客：screenpipe.github.io/screenleak

搜集汇总

数据集介绍

构建方式

ScreenLeak是一个多模态基准测试数据集，旨在评估当前工具从屏幕遥测、渲染截图及多步计算机使用轨迹中移除个人身份信息（PII）的能力。其构建方式基于三大子基准：文本子基准包含422个手工构造的案例，涵盖13个类别及多语言与对抗性变体；图像子基准通过九个真实应用模板生成了2206张合成截图，并利用DOM提取出像素级完美的边界框；轨迹子基准则包含50条多轮计算机使用轨迹，其中注入了PII，用于评估模型在任务执行过程中是否无意泄露敏感信息。所有子基准均采用统一的12类PII分类体系，确保评估维度的一致性。

特点

ScreenLeak的显著特点在于其独特的评估视角——不同于传统基准聚焦于能力测试，它首次系统性衡量了计算机使用模型在视觉与代理任务中的敏感信息披露风险。实验揭示了三大关键发现：前沿API在文本PII检测上表现优异（得分87.8-91.0%），但定位像素级PII的能力极弱（零泄露率仅2.1-4.2%）；而一个轻量级的本地微调RF-DETR模型在图像基准上却达到了95.3%的零泄露率，远超前沿模型。更值得注意的是，即使文本检测能力出色的模型，在观察PII后执行任务时仍有36%-80%的泄露概率，凸显了能力、定位与行为之间的显著差距。

使用方法

使用ScreenLeak时，研究者可先通过安装命令配置环境，随后设置相应API密钥以调用不同适配器。针对样本数据集，可通过命令行分别运行文本、图像或轨迹子基准的评估，例如使用'make bench-text ADAPTER=claude'测试Claude模型在文本子基准上的表现。该仓库提供了完整的评分代码、已评估模型的适配器、方法论讨论及30条样本数据，便于用户端到端验证。完整的评估语料库（422条文本、221张验证图像及50条轨迹）存储于私有仓库中，研究者可通过联系维护者获取访问权限，从而推进严谨的实验对比与模型改进。

背景与挑战

背景概述

ScreenLeak是一个由screenpipe团队于2024年底创建的多模态基准测试数据集，核心研究人员包括Louis等，旨在衡量现有工具从屏幕遥测、渲染截图以及多步计算机使用轨迹中去除个人身份信息（PII）的能力。随着计算机使用AI的快速发展，诸如WebArena、OSWorld等现有基准主要关注智能体的任务完成能力，却忽视了其在操作过程中可能泄露敏感信息的问题。ScreenLeak填补了这一空白，成为首个公开衡量计算机使用视觉与智能体模型中敏感信息披露风险的基准，对推动下一代AI数据安全具有重要影响力。

当前挑战

ScreenLeak面临的核心挑战包括三方面：首先，领域问题层面，前沿API虽然在文本PII检测上表现优异（如Gemini 3.1 Pro达91.0%），但在图像定位PII像素区域时效果极差（如GPT-5.5仅3.2%），且在多步轨迹中即便高文本准确率也难防80%的泄露率，凸显了能力与行为之间的脱节。其次，构建过程中，团队需合成涵盖12个类别、多语言及对抗性切换的422个文本案例和2,206张合成截图，同时确保分布匹配以避免过拟合，例如RF-DETR模型虽有95.3%图像成绩，但受限于训练集分布，其实世界泛化能力存疑。

常用场景

经典使用场景

ScreenLeak作为一个多模态基准数据集，专为评估计算机使用场景中人工智能系统对敏感信息（特别是个人身份信息，PII）的泄露风险而设计。其核心使用场景涵盖三个维度：文本层面，通过检测窗口标题、辅助功能节点及OCR片段中的PII暴露情况；图像层面，定位渲染截图中包含PII的像素区域；轨迹层面，评估在多步骤计算机操作流程中，AI代理输出的内容是否无意中泄露了用户屏幕上呈现的敏感信息。这一基准的设立，弥补了现有计算机使用基准仅关注任务完成能力而忽视信息泄露隐患的空白，为衡量下一代计算机使用AI的数据安全性提供了关键的测试标尺。

解决学术问题

ScreenLeak直面一个此前未被系统性量化的学术研究问题：当AI代理在操作计算机时，其基于屏幕内容（如截图、文本记录）生成的输出，究竟会泄露多少用户的个人身份信息？现有基准如WebArena、OSWorld等专注于测试代理完成导航、填写表单等任务的能力，却未能评估其信息泄露风险。ScreenLeak通过引入三路分离的评估体系，揭示了三个关键发现：前沿API在文本PII检测上表现优异但无法精准定位图像中的PII；云DLP产品在屏幕遥测场景下几乎失效；即便是高文本检测能力的模型，在任务执行中仍有极高的泄露率。这些发现推动了学术界重新审视AI安全评估的范式，将信息泄露作为与任务能力同等重要的指标。

衍生相关工作

ScreenLeak的发布催生了若干重要的后续研究工作。其明确指出三方分离的评估模式（文本检测、图像定位、轨迹泄露）启发了后续研究者针对AI代理安全性的多维评估框架设计。受其发现中局部微调模型（如rfdetr_v8）在图像PII定位上显著优于通用前沿模型的启发，催生了更多针对特定场景的轻量级隐私过滤模型的研发。此外，ScreenLeak揭示的“能力与倾向分离”现象，即模型具备PII检测能力却在任务中主动泄露，直接推动了“行为安全评估”这一新兴方向的发展，促使学界设计更复杂的对抗性提示注入测试集。同时，其开源评测代码和适配器框架为后续同类基准的构建提供了可复用的技术栈与标准流程。