SOCO

SOCO数据集是一个由马克斯·普朗克信息学研究所等机构联合创建的大规模语义对象对应基准，旨在系统评估视觉基础模型和大视觉语言模型的结构化、细粒度物体理解能力。该数据集包含100个多样化的物体类别，组织成四个超类，提供了基于分类学的关键点标注，涵盖了超过100万对语义对应关系，数据主要来源于精心挑选和标注的真实图像。其创建过程基于提出的语义对象对应（SOC）分类学框架，通过明确分离局部概念识别、物体相对身份和跨类别迁移，实现了语义一致且无歧义的关键点标注。该数据集主要应用于计算机视觉和跨模态人工智能领域，用于诊断和比较模型在语义对应、部件级理解以及跨类别知识迁移方面的性能，旨在解决现有基准在评估结构化物体表示质量方面的局限性。

SOCO is a large-scale semantic object correspondence benchmark dataset jointly constructed by the Max Planck Institute for Informatics and other institutions, aiming to systematically evaluate the structured object understanding capabilities of visual foundation models and large vision-language models. The dataset covers 100 diverse object categories and contains over 1 million corresponding keypoint pairs. Its data is sourced from carefully annotated object images, and a taxonomy-driven keypoint annotation strategy is adopted to ensure semantic consistency. Through a three-tier classification system that decouples concept correspondence, semantic object correspondence, and cross-category correspondence, the dataset enables fine-grained evaluation of models' local concept recognition, object structure understanding, and cross-category transfer capabilities. Its core applications lie in diagnosing the quality of visual representations, providing stronger predictive metrics than traditional classification tasks for dense downstream tasks such as segmentation, tracking, and 3D pose estimation, while supporting visual-language alignment research for multimodal models via language descriptions of keypoints.

原始信息汇总

SOCO：视觉基础模型中语义对象对应的基准测试

数据集概况

SOCO是一个用于评估语义对象对应（Semantic Object Correspondence）的基准数据集，首次提出基于分类学驱动、语言锚定的对应任务框架，涵盖100个多样类别，提供结构化、跨类别的部件级标注，用于评估视觉基础模型（VFM）和大视觉语言模型（LVLM）的结构化对象理解能力。

核心概念

语义对象对应（SOC）

一种基于分类学的语义对应框架，将先前基准中混淆的三种能力进行解耦：

• 概念对应（CC）：匹配相同局部语义概念（如轮毂到轮毂），即纯部件识别。
• 语义对象对应（SOC）：匹配相同概念且保持对象相对身份（如前左轮到前左轮），需要感知对象几何结构和部件位置。
• 跨类别SOC（Cross-SOC）：跨相关类别通过共享分类学概念匹配对象相对关键点（如汽车、公交车、拖拉机上的车轮），需要类别级抽象能力。

数据集规模

指标	数值
对象类别	100
图像数量	4000
人工标注关键点	40,000
对应配对总数	超过100万
关键点语言描述	每个关键点均配有自然语言描述

类别涵盖四大超类：交通工具、手持物体、家具和动物，共享分层语义概念词汇表，支持类别内与跨类别的一致匹配。

评估与发现

主要发现

1. 概念易、几何难：强骨干模型在概念对应上表现良好，但需要对象相对身份时性能急剧下降。最佳模型DINOv2从CC的78.9降至SOC的60.4，所有模型均存在一致的重复部件混淆现象。

2. 跨类别迁移仍具挑战：从SOC到Cross-SOC，DINOv2进一步降至55.0，多数骨干模型从CC下降15-24个百分点，暴露出对类别特定外观的依赖。

3. LVLMs擅长文本但弱于图像匹配：当前LVLMs在文本提示的部件定位上远强于视觉参考的跨图像匹配。Qwen3-VL-8B从视觉设定的34.2提升至文本描述的54.0，但仍远低于DINOv2的81.0上限。

4. SOC是优于ImageNet kNN的诊断工具：在37个视觉模型上，SOC与下游密集任务（分割、跟踪、3D姿态估计、3D检测）的相关性远强于ImageNet kNN分类，可作为表示质量的零样本探针。

模型性能（PCK@0.1）

模型	CC	SOC	Cross-SOC	平均
DINOv2	78.9	60.4	55.0	64.8
DINOv3	69.7	55.5	49.4	58.2
C-RADIOv3	69.0	51.1	46.3	55.5
I-JEPA	60.5	46.3	38.4	48.4
DUNE	60.1	45.7	38.5	48.1
PE-Spatial	60.6	43.8	38.8	47.7
SD 2.1	56.0	44.8	38.3	46.4
iBOT	55.2	39.6	34.1	43.0
PIXIO	49.5	37.5	32.9	40.0
DINOv1	43.8	30.6	23.9	32.8
QWEN-L	27.2	19.4	16.2	20.9
CLIP	24.9	16.1	11.2	17.4
CroCov2	15.2	10.2	7.8	11.1
MAE	14.4	9.4	7.2	10.3

大视觉语言模型性能（SOC准确率）

方法	视觉设定	视觉+描述设定	描述设定
随机	0.4	0.4	0.4
随机++	25.0	25.0	25.0
DINOv2 (VFM上限)	81.0	—	—
LLaVA-OV-7B	2.9	14.1	24.3
InternVL3.5-8B	24.9	38.5	39.6
Qwen2.5-VL-3B	5.2	17.4	29.9
Qwen2.5-VL-7B	19.4	30.8	39.1
Qwen3-VL-4B	8.6	18.0	44.4
Qwen3-VL-8B	34.2	30.8	54.0
GPT4o	30.2	30.9	37.6

相关资源

• 论文：https://arxiv.org/abs/2605.31597
• 代码：https://github.com/genintel/SOCO（基于项目页面推断）
• 数据集：https://genintel.github.io/SOCO/（页面本身）
• 引用格式：见页面BibTeX部分

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，结构化物体理解始终是评估视觉基础模型的核心挑战。为系统性地衡量模型在语义对应方面的能力，SOCO数据集基于一种新颖的语义对象对应（SOC）分类体系构建而成。该分类体系将语义对应分解为概念对应、语义对象对应和跨类别语义对象对应三个层次，为标注和评估提供了清晰的理论框架。数据集涵盖100个多样化类别，分为交通、手持物品、家具和动物四大超类。关键点标注遵循上述分类体系，通过亚马逊机械土耳其人平台完成初标，并经人工审核确保一致性，最终为每个类别标注了6至32个语义关键点。此外，每个关键点都配有语言描述，形成超过100万对对应关系，从而支持视觉与多模态模型的全面评估。

特点

SOCO数据集独具多项突出特点。首先，它首次引入了基于分类体系驱动的关键点标注方案，将局部语义与几何位置显式分离，从而能够独立评估模型在概念识别、重复部件区分和跨类别抽象等不同能力维度上的表现。其次，数据集的类别分布极为广泛且平衡，涵盖了从对称性强的交通工具到关节结构复杂的动物，有力挑战了模型的泛化能力。尤为重要的是，SOCO提供了跨类别的对应关系评估，这是此前基准所缺乏的。同时，关键点语言描述使得大型视觉语言模型可以被系统性地纳入评测范畴。最后，实验表明SOC性能与分割、跟踪、3D姿态估计等密集下游任务的相关性显著强于ImageNet分类准确率，凸显了其作为表征质量诊断指标的独特价值。

使用方法

使用SOCO数据集时，研究者主要面临三种递进式的评估任务。首先，概念对应任务衡量模型在源图像与目标图像之间定位相同局部语义概念的能力，采用零样本最近邻匹配方法，基于特征空间的余弦相似度选取对应点。其次，语义对象对应任务进一步要求模型识别具有特定物体相对身份的关键点，例如区分左侧前轮与右侧后轮。最难的跨类别语义对象对应任务则测试模型是否能在相关但不同的类别间（如汽车与卡车）建立对应关系。对于大型视觉语言模型，SOCO被设计为四选一的视觉问答形式，提供纯视觉、视觉加文本描述、以及纯文本描述三种查询方式，以系统揭示语言引导定位与精细视觉匹配之间的差距。

背景与挑战

背景概述

视觉表征的质量评估一直是计算机视觉领域的核心议题，然而现有基准如ImageNet等主要聚焦于类别级识别或空间定位，难以揭示模型是否具备结构化的物体理解能力。为填补这一空白，来自马克斯·普朗克信息学研究所、CISPA亥姆霍兹信息安全中心及弗莱堡大学的研究人员Olaf Dünkel等人于2026年提出了SOCO（Semantic Object COrrespondence）基准。该基准首次引入语义对象对应（SOC）的层次化分类框架，将语义对应解构为概念对应、结构化物体理解与跨类别迁移三个维度，并在100个涵盖交通、手持物、家具与动物的多样化类别上构建了超过100万对语义一致且功能意义明确的对应标注。SOCO不仅为视觉基础模型提供了更精细的结构化理解诊断工具，还通过为关键点配备语言描述，将评估范围拓展至大型视觉语言模型，揭示了其在文本引导定位与视觉跨图像匹配之间的性能鸿沟，显著推动了语义对应领域的发展。

当前挑战

SOCO所解决的领域核心挑战在于现有语义对应基准缺乏清晰的任务定义与系统性的关键点标注策略。以往基准如SPair-71k等在单一类别内混淆了局部概念识别与重复部件辨别，且完全忽视跨类别语义迁移，导致模型失败模式难以分离。为克服这一局限，SOCO构建过程中面临诸多困难：首先，需建立一个能跨类别复用的层次化概念分类体系，确保关键点具备语义根基、唯一性与几何一致性；其次，人工标注阶段通过Amazon Mechanical Turk收集初始标注，并经三轮独立标注与中位数聚合以消除异常值，同时辅以人工校验，最终实现关键点标准偏差仅为图像最大尺寸的0.85%；此外，还需完成跨类别对应对的自动生成，覆盖约94万对高变异性匹配。SOCO成功克服了语义模糊、对称性歧义与标注不一致等历史难题，为评估模型的结构化物体理解提供了可靠基准。

常用场景

经典使用场景

在计算机视觉领域，语义对应（Semantic Correspondence）旨在衡量模型跨实例与类别匹配物体部分的能力，是评估视觉表征结构化理解的重要探针。SOCO数据集作为首个基于语义物体对应（SOC）分类体系构建的大规模基准，提供了跨越100个类别的功能化关键点注释与逾百万对应配对。研究者可利用其三重任务——概念对应、语义物体对应及跨类别对应——系统剖析基础模型在局部语义识别、几何位置感知及类别泛化上的表现差异，为对比自监督、视觉-语言及生成式模型的细粒度表征质量提供了标准化测试平台。

实际应用

在实际应用中，SOCO作为零样本表征质量诊断工具，其语义对应性能相比ImageNet分类精度更能预测稠密下游任务的表现，包括语义分割、目标跟踪、3D位姿估计与3D检测。这一特性使SOCO在机器人操作、增强现实及场景理解等需要精细部件级推理的系统开发中发挥关键作用。例如，通过评估模型对重复部件（如汽车车轮）的判别能力，可指导更鲁棒视觉表征的设计，以提升跨类别知识迁移的可靠性。

衍生相关工作

SOCO的提出催生了一系列围绕语义对应与多模态表征的后续研究。在视觉基础模型方面，基于该基准的分析推动了DINOv3等模型对几何位置感知能力的优化，以及CleanDIFT等扩散特征提取方法的改进。在弱监督与监督范式下，DIY-SC和GeoAware-SC等工作借助SOCO的跨类别注释扩展了语义对应的训练框架。此外，该数据集启发了BLINK等多模态基准中对视觉-语言模型进行精细部件级推理评估的设计思路，为理解语言与视觉信息的对齐机制提供了新方向。