tencent/DiffSpot

DiffSpot是一个用于评估视觉语言模型（VLMs）在网页界面中检测细微视觉差异能力的数据集。它专注于“找不同”任务，通过生成4,400对截图来测试模型，其中3,900对包含基于13种CSS属性操作符和3个难度等级（简单、中等、困难）的单个视觉变化，另外500对作为无差异控制样本用于测量幻觉。数据集采用代码驱动方法生成：通过突变自包含HTML中目标元素的CSS属性，重新渲染截图，并记录变化属性、元素和幅度作为真实标签。接地门机制确保像素差异仅局限于目标元素，从而提供精确的屏幕变化描述。任务要求模型在给定前后截图的情况下，以开放形式描述变化，并使用LLM作为评判进行评分。评估结果显示，即使最佳模型也只能识别40.7%的真实变化，困难层级的召回率低于23%，表明当前VLMs在细粒度视觉感知方面仍面临挑战。数据集支持英语、日语和中文，适用于图像到文本和视觉问答任务。DiffSpot is a dataset designed to evaluate the ability of vision-language models (VLMs) to spot fine-grained visual differences in web interfaces. It focuses on a spot-the-difference task, comprising 4,400 screenshot pairs: 3,900 with a single visual change balanced across 13 CSS-property operators and three difficulty tiers (easy, medium, hard), plus 500 no-diff controls for hallucination measurement. The dataset is code-driven: it mutates one CSS property of a target element in self-contained HTML, re-renders screenshots, and records the changed property, element, and magnitude as ground truth. A grounding gate ensures that rendered pixel differences are confined to the target element, providing an exact label of what changed on screen. The task requires models to describe the change in natural language given both screenshots, scored by an LLM-as-Judge against structured mutation logs. Evaluation shows that even the best model identifies only 40.7% of true changes, with hard-tier recall below 23% for all models, highlighting the challenge for VLMs in fine-grained visual perception. The dataset supports English, Japanese, and Chinese languages, and is categorized under image-to-text and visual-question-answering tasks.

搜集汇总

数据集介绍

构建方式

DiffSpot的构建根植于对视觉语言模型细粒度感知能力的探究，其设计巧妙地将网页界面的CSS属性变异作为核心机制。具体而言，研究者从真实网页中提取自包含的HTML片段，针对目标元素精准修改单一CSS属性（如字号、圆角、透明度等），随后重新渲染生成变化前后的截图对。为确保标签的纯净性，数据集引入了“接地门控”（Grounding Gate）机制，仅保留渲染差异完全局限于目标元素内部的样本，从而排除了无关像素干扰。最终，数据集包含4,400个样本，其中3,900个存在差异的样本均衡覆盖13种CSS属性操作符与3个难度层级，另含500个无差异对照样本以评估模型的幻觉倾向。这种代码驱动的构建范式不仅保证了变化的可追溯性，也为细粒度视觉差异研究提供了结构化的基准。

特点

DiffSpot的突出特点在于其聚焦于网页界面上高度局部化的视觉变化，这对视觉语言模型构成了严峻挑战。实验表明，在零样本评估的13个前沿模型中，表现最优者（Gemini 3.1 Pro）仅能识别40.7%的真实变化，而困难层级（Hard-tier）的召回率在所有模型中均低于23%。难度与CSS属性类型密切相关，且像素变化幅度或CLIP距离均无法可靠预测模型的实际表现。此外，数据集采用开放式的“找不同”（Spot-the-Difference）任务形式，要求模型用自然语言描述变化，而非简单的多选或分类，这更贴近真实应用场景。无差异对照样本的存在则有效衡量了模型产生虚假报告（幻觉）的倾向，使评估更为全面。

使用方法

DiffSpot的使用极为便捷，通过Hugging Face Datasets库即可一键加载。用户只需调用`load_dataset("tencent/DiffSpot", split="test")`，即可获得包含前后截图（PNG格式）及自然语言变化描述的样本。每个样本提供了丰富的元数据，包括突变类型、难度等级、页面领域类别以及像素差异量化指标，便于研究者进行多维度分析。评分机制采用大语言模型裁判（LLM-as-Judge），将模型的回答与结构化变异日志进行比对，以评判其是否准确识别了变化内容。配合官方发布的GitHub代码库与arXiv论文，研究者可快速复现零样本评估结果，或基于该基准开发新的细粒度视觉差异化方法。

背景与挑战

背景概述

DiffSpot是由腾讯团队于2026年推出的视觉差异检测基准数据集，旨在评估前沿视觉语言模型在细粒度视觉变化感知任务上的表现。该数据集通过程序化方式在自包含HTML页面中对单一CSS属性进行定向突变，生成前后渲染截图对，从而精准定位元素级别的视觉改变。核心研究问题聚焦于模型能否在真实网络界面场景中识别细微且局部的界面变化——这一能力对于GUI智能体与自动化设计工具具有关键应用价值。数据集包含4400个精心标注的样本，涵盖13种CSS属性操作符与三个难度层级，并额外设置500个无变化控制样本以测量幻觉率。DiffSpot的发布为视觉语言模型在细粒度感知领域提供了标准化测试范式，其对13个前沿模型的零样本评估揭示了当前模型在该任务上的显著短板，推动了多模态理解研究的深入发展。

当前挑战

DiffSpot所解决的领域核心挑战在于视觉语言模型对细粒度视觉差异的感知能力严重不足。实验表明，即使在最佳模型Gemini 3.1 Pro上，仅能正确识别40.7%的真实变化，困难层级召回率更低于23%，凸显出模型在局部像素级变化检测上的系统性缺陷。构建过程中面临的关键挑战包括：如何保证CSS突变导致的渲染差异严格限定在目标元素范围内，团队通过设计“接地门控”机制过滤掉外部干扰变化；如何构建难度可控且分布均衡的测试集，数据集最终实现了13种CSS属性操作符与三个难度层级的组合覆盖；此外，开放式“找不同”任务的自然语言答案评估依赖LLM裁判，如何准确量化模型输出与真实突变信息的语义对齐性也是技术难点之一。

常用场景

经典使用场景

DiffSpot数据集专为评估多模态大模型在细粒度视觉差异感知上的表现而构建，其核心场景聚焦于“找不同”任务——给定两张由单一CSS属性突变渲染而成的Web界面截图，模型需准确识别出具体哪种视觉元素发生了改变。数据集包含4400组精心构建的图片对，涵盖13种CSS属性操作符及三种难度等级，并纳入500组无差异的对照样本用于检测模型的幻觉倾向。这一设计尤其适用于检验视觉语言模型在GUI理解、像素级变化定位等细粒度感知任务中的鲁棒性。

解决学术问题

该数据集直面当前视觉语言模型在高层次图像-文本对齐任务中表现出色，但在精细视觉变化检测上普遍乏力的学术痛点。通过采用代码驱动的数据生成方式与基于元素级像素变化验证的筛选机制，DiffSpot有效解决了传统“找不同”基准中标签模糊、变化定位不精准的问题。它为研究者提供了一个干净、可控的测试平台，用以量化模型在细粒度感知上的真实能力边界——评估结果显示，即便是性能最强的模型也仅能正确识别40.7%的真实变化，艰难样本上的召回率更是全体低于23%，深刻揭示了当前模型在视觉细节理解上的显著不足。

衍生相关工作

围绕DiffSpot数据集，已有若干衍生研究工作得以展开。基于其结构化突变日志与精细难度划分，研究者探索了CSS属性依赖性与模型感知能力之间的关系，发现像素幅度和CLIP距离均无法可靠地预测模型对不同属性变化的检测表现。此外，该数据集被用于训练多模态大模型在GUI任务中的强化学习策略，以及设计面向“找不同”任务的专用注意力机制。其开源Web界面评测框架也为后续构建更复杂的交互式视觉变化检测基准提供了基础架构与评估范式。