Spot-the-shift

该数据集包含两个配置：default和training_data，主要用于地面街景图像的处理和分析。default配置包含939个测试样本，每个样本包含两幅图像路径、配对ID、城市、距离、视角方向以及变化单元（包括类型、动作、位置和最终掩码路径）。training_data配置包含5000个训练样本，每样本包含两幅图像路径、句子描述、城市、图像ID、翻转标志、结构性和非结构性编辑数量以及点信息（包括步骤、中心点、标签和类型）。数据集适用于基于街景的图像差异描述、变化检测以及大型多模态模型的空间推理能力评估。数据来源于Mapillary街景序列，已自动模糊人脸和车牌以保护隐私。数据集存在地理偏差，某些地区未包含在当前版本中。

This dataset comprises two configurations: default and training_data, primarily designed for ground-level street view image processing and analysis. The default configuration includes 939 test samples, each containing two image paths, a pair ID, city, distance, viewing direction, and change units (including type, action, position, and final mask path). The training_data configuration contains 5000 training samples, each with two image paths, sentence descriptions, city, image ID, flip flag, number of structural and non-structural edits, and point information (including step, center point, label, and type). This dataset is suitable for street view-based image difference description, change detection, and spatial reasoning capability evaluation of large multimodal models. The data is sourced from Mapillary street view sequences, and human faces and license plates have been automatically blurred to protect privacy. The dataset has geographic bias, and some regions are not included in the current version.

搜集汇总

数据集介绍

构建方式

Spot-the-shift数据集专为街道级图像变化检测与描述而构建，其源数据源自Mapillary Street-Level Sequences（MSLS）这一大规模众包街景图像集合。构建过程首先从MSLS中筛选出在相似地理位置上捕获、但在不同时间点拍摄的图像对，并确保这些图像对之间存在显著的场景变化。随后，通过人工标注的方式，为每一对图像标注出具体的变化单元，包括变化类型（如建筑、植被）、动作（如新增、移除）及其在图像中的精确位置，并辅以对应的分割掩膜。此外，数据集还包含训练子集，其中提供了描述句子作为变化描述的真实标签，并额外采样了关键点的空间坐标以辅助模型学习定位变化区域。

特点

该数据集的核心特点在于其多模态、细粒度且包含空间定位信息的标注结构。每个样本由一对街景图像组成，并附有城市、拍摄距离与视角方向等元数据，为地理空间上下文的理解提供了丰富背景。变化标注以结构化列表形式呈现，明确区分了变化的语义类型与空间边界，同时提供了图像对在变化前后的对应分割掩膜，支持像素级评估。训练子集则进一步引入了自然语言描述句子，以及带有坐标与标签的关键点序列，使得数据集既能用于传统的二分类变化检测，也能支撑更具挑战性的图像变化描述生成与空间推理任务，涵盖结构性与非结构性编辑的区分。

使用方法

使用Spot-the-shift数据集时，用户可通过HuggingFace Datasets库轻松加载两个配置：default配置用于测试评估，包含939对图像及其详细变化标注；training_data配置则提供5000个训练样本，每一样本包含图像对、描述句、变化编辑统计量及空间关键点。输入数据时，用户需将一对图像作为输入，并依据任务目标选择对应的标签进行模型训练或评测。对于变化检测任务，可提取变化单元的掩膜与类型作为监督信号；对于描述生成任务，可使用‘sentences’字段作为参考文本；对于空间推理基准测试，则结合关键点坐标与标签进行定位精度评估。数据集采用CC-BY-NC-4.0许可，适用于非商业研究目的，尤其适合城市变化分析与大模型空间能力测评。

背景与挑战

背景概述

Spot-the-shift数据集由苏黎世联邦理工学院（ETH Zurich）的研究团队于2024年创建，旨在推动多模态大模型在空间推理与场景变化理解领域的研究。该数据集以地面级街景图像为核心，通过精心设计的成对图像（image1与image2）及对应的变化描述（sentences）、变化单元（change_units）和语义掩码（final_mask_path），构建了一个面向图像差异描述（Grounded Image Difference Captioning）与街景变化检测的基准测试平台。其训练集包含5000个样本，测试集含939个样本，覆盖多个城市，并基于Mapillary街景序列（MSLS）数据源整合而来。该数据集的出现填补了现有数据集在细粒度、结构化变化标注方面的空白，为城市发展监测、基础设施维护和地图更新等实际应用提供了关键支撑，并作为评估大型多模态模型空间感知能力的标杆，对计算机视觉与自然语言处理交叉领域产生了深远影响。

当前挑战

Spot-the-shift数据集所面对的挑战体现在多个层面。在领域问题层面，它旨在解决图像变化检测与差异描述中需要同时理解场景全局结构与局部细节的难题，特别是处理城市环境中多样化的结构性编辑（如建筑增建、道路改造）与非结构性变化（如植被季节更替），这要求模型具备超越简单像素对比的空间推理能力。在构建过程中，挑战包括：1）从大规模街景序列中精准筛选和配对具有真实物理变化的时间图像对，避免因拍摄视角、光照条件差异导致的误标；2）设计统一的标注规范以捕获变化的类型（type）、位置（location）和程度（num_structural_edits），确保标注者间的一致性；3）应对地理分布偏差——当前版本局限于特定城市，可能无法泛化至航拍或卫星视角，且某些全球区域未被覆盖；4）隐私保护：虽已采用自动模糊技术处理人脸和车牌，但仍需持续防范潜在的敏感信息泄露风险。

常用场景

经典使用场景

Spot-the-shift数据集的核心应用场景在于街景图像变化检测与差异描述，它通过成对的时序街景图像，精准捕捉城市环境中的物理变化，如建筑物翻新、店铺更替或公共设施改造。数据集提供了丰富的标注信息，包括变化单元的类型、动作和位置，以及对应的分割掩码，这使得模型能够不仅检测变化的存在，还能描述变化的属性与空间范围。在计算机视觉与多模态理解领域，该数据集常用于训练和评估模型对真实世界动态演化的感知能力，尤其在细粒度变化定位与自然语言差异描述方面展现出独特价值。

解决学术问题

该数据集有效解决了街景图像变化检测中缺乏细粒度标注与跨时域语义理解这一学术难题。传统变化检测多集中于二分类或像素级差异，而Spot-the-shift引入了结构化变化单元描述，推动模型从‘是否变化’向‘如何变化’的深度推理迈进。它使研究者得以探索空间推理、时序对齐与跨模态差异表达等前沿问题，为评估多模态大模型在真实场景下的鲁棒性与精确性提供了坚实基准。这一贡献对理解城市演变规律、量化环境变动具有重要的理论支撑，并促进了人工标注数据与自监督学习方法的协同发展。

衍生相关工作

Spot-the-shift数据集催生了一系列具有代表性的研究工作，尤其在基于图像的差异描述与空间推理任务中。例如，研究者基于其标注结构发展了‘语义变化描述’新范式，将变化单元的类型与动作结合自然语言生成细粒度报告。同时，该数据集被用于改进多模态大模型在时序图像对的上下文理解能力，衍生出专门针对街道场景的对比学习框架与跨时域特征对齐方法。此外，受其启发，后续工作进一步探索了从合成数据向真实场景泛化的迁移学习策略，以及利用主动学习减少标注成本的技术路径，推动了变化检测领域的方法论演进。