cubec/spatialtunnel

SpatialTunnel是一个Blender渲染的诊断数据集，旨在研究视觉语言模型如何内部表示空间关系。它包含三个配置：phase_variation（具有受控角度位置变化的二元深度比较问题）、size_variation（在受控对象大小变化下的二元深度比较问题）和contrastive_probing（用于对比探测的平衡空间关系问题）。数据集通过图像和问题对形式提供，用于评估模型对空间关系的理解能力。SpatialTunnel is a diagnostic dataset rendered with Blender, designed to investigate how vision-language models internally represent spatial relationships. It comprises three configurations: phase_variation (binary depth comparison tasks with controlled angular positional variations), size_variation (binary depth comparison tasks under controlled object size changes), and contrastive_probing (balanced spatial relation tasks for contrastive probing). The dataset is provided in the form of image-question pairs, used to evaluate models' ability to understand spatial relationships.

搜集汇总

数据集介绍

构建方式

SpatialTunnel数据集基于Blender渲染引擎精心构建，旨在诊断视觉语言模型内部空间关系表征的机制。该数据集通过控制视角角度与物体尺寸两个关键变量，生成两套核心配置：phase_variation包含12,288个样本，在固定深度比较问题中引入角度位置变化；size_variation则拥有4,400个样本，专注于物体大小变化对空间判断的影响。每个渲染图像均配备四个二元问答对，通过调整物体顺序与比较方向（更近/更远）系统性地采样空间关系。此外，contrastive_probing配置以1,200个平衡样本支持对比探针分析。所有数据以Parquet格式存储，便于高效加载与处理。

特点

该数据集最显著的特点在于其高度可控的合成环境和精细化的实验设计。通过精准调控角度位置与物体尺寸，SpatialTunnel能够隔离视觉语言模型在特定空间维度上的表征偏差，为解释模型'为何远处物体显得更高'这类反直觉现象提供了关键证据。数据集包含三大配置，分别服务于相位变化、尺寸变化和对比探针三类研究目标，其中每个配置内的问题答案均经过严格校验，确保ground-truth的可靠性。图像以高分辨率PNG格式存储，保留丰富的纹理与几何细节，有助于诊断模型对空间线索的敏感程度。

使用方法

使用SpatialTunnel数据集时，研究者可通过Hugging Face Datasets库直接加载指定配置，例如选择'phase_variation'或'size_variation'进行二元深度比较推理任务。每行数据包含索引、PNG图像、自然语言问题及标准答案，适合直接用于零样本评估或微调视觉语言模型。contrastive_probing配置以TSV格式提供，可无缝对接官方提供的对比探针代码库。建议配合论文提出的空间探针方法，通过比较模型在不同配置上的表现差异，深入分析空间表征的内在结构。数据集的生成代码已开源，支持用户自定义扩展实验参数。

背景与挑战

背景概述

空间关系理解是视觉语言模型（VLM）迈向具身智能与高阶视觉推理的关键能力之一。近年来，尽管大规模多模态模型在物体识别与语言生成上取得了显著进展，其对三维空间中物体相对深度的内部表征机制仍是一个未解之谜。在此背景下，SpatialTunnel数据集由Cheolhong Min、Jaeyun Jung等来自多所机构的研究者于2026年提出，旨在作为一个经过精心设计的诊断型基准。该数据集利用Blender渲染生成精确控制的合成图像，并配以二元深度比较问题，专门用于探究VLM在何种程度上能准确编码物体的“远”与“近”这一基础空间关系。其核心研究问题在于检验模型是否依赖非空间捷径（如物体大小或视角伪影）来做出空间判断，从而为模型的空间推理能力提供可量化的评估。SpatialTunnel的发表为后续改进VLM的空间泛化性提供了关键的诊断工具与理论洞见。

当前挑战

该数据集主要应对以下挑战：其一，现有视觉语言模型常常混淆外观统计特征与真实空间关系，例如错误地将图像中“位置较高”的物体直接等同于“更远”，暴露出模型缺乏对三维几何一致性的深层理解。SpatialTunnel通过精细控制视角相位变化与物体尺寸变量，迫使模型无法依赖这类浅层线索，从而直面真实空间推理难题。其二，在数据集构建层面，挑战在于如何设计既足够纯净以隔离单一变量、又足够多样化以避免过拟合的合成场景。研究团队通过Blender的参数化渲染管线，生成了数万张带有精确地面真值的图像，并设计了相变与尺寸变化两种配置，分别控制角度位置与物体大小，这一过程需要对渲染参数空间进行广泛而系统的探索，确保生成的数据能有效诊断模型的空间表征本质。

常用场景

经典使用场景

SpatialTunnel数据集专为探究视觉语言模型内部空间关系表征机制而设计，其经典使用场景聚焦于诊断模型在深度比较任务中的推理能力。通过向模型呈现Blender渲染的合成场景图像并配以二元空间问答（如判断物体远近），研究者可系统性地操纵物体的方位角与尺寸变量，从而精准测量模型对空间关系的理解是否存在系统性偏差。该数据集特别适用于神经科学视角下的表征分析，为揭开视觉语言模型如何编码“上远下近”等空间拓扑关系提供了标准化测试平台。

衍生相关工作

SpatialTunnel数据集衍生了一系列开创性工作，其中核心成果发表于论文《Why Far Looks Up: Probing Spatial Representation in Vision-Language Models》。研究者基于该数据集开发了对比探针（contrastive probing）技术，通过精心平衡的正负样本配对，系统揭示了CLIP等模型在空间表征中的方向性偏差。后续工作进一步扩展了探针范式，如将空间推理与物体恒常性研究相结合，以及利用合成数据的可控性探索模型对异常空间配置的鲁棒性。这些研究共同催生了“诊断式探测”方法论，成为分析多模态模型内隐知识的重要分支。

数据集最近研究

最新研究方向

SpatialTunnel数据集聚焦于视觉-语言模型内部空间关系表征的探究，通过Blender渲染生成的诊断性图像与二元深度比较问题，系统性地控制物体角度位置与尺寸变化，为剖析模型在三维空间理解中的潜在偏差提供了关键工具。当前研究热点围绕“远处为何显得更高”这一反直觉现象，利用对比探针技术揭示模型空间编码的机制与局限性，其成果对提升具身智能与多模态系统的空间推理能力具有深远意义。