Spatial-VQA-Bench

Spatial-VQA-Bench 是一个专注于多模态大语言模型空间视觉推理的小型基准测试，涵盖左/右、前/后、近/远以及旋转等任务。它包含3,200个手动审核的项目，分为五个任务族：2D关系、3D关系、旋转、遮挡和视角。图像来源于室内场景（ScanNet渲染、OpenImages室内）和合成3D场景。

Spatial-VQA-Bench is a compact benchmark focusing on spatial visual reasoning for multimodal large language models, covering tasks including left/right, front/back, near/far, and rotation. It contains 3,200 manually reviewed items, divided into five task families: 2D relations, 3D relations, rotation, occlusion, and viewpoint. The images are sourced from indoor scenes (ScanNet renders, indoor OpenImages) and synthetic 3D scenes.

原始信息汇总

Spatial-VQA-Bench 数据集概述

基本信息

• 数据集名称：Spatial-VQA-Bench
• 来源：GitHub (sitodowubb/spatial-vqa-bench)
• 许可证：MIT

核心目标

一个专注于空间视觉推理的轻量级基准测试，用于评估多模态大语言模型在处理空间关系（左/右、后/前、近/远、旋转90°等问题）时的推理能力。

数据集规模

包含 3,200 个经人工筛选的样本，涵盖五大任务类别。

任务类别

任务类别	说明
2D-relations（2D关系）	左/右、上/下、之间等空间位置关系
3D-relations（3D关系）	前/后、近/远等三维空间关系
Rotation（旋转）	物体旋转90°后的方向判断
Occlusion（遮挡）	隐藏或部分遮挡物体的识别与推理
Viewpoint（视角）	物体背面或不同视角的想象推理

图像来源

• 室内场景：ScanNet渲染图、OpenImages室内图像
• 合成3D场景：用于旋转和视角任务

数据格式

每条样本包含：id（标识）、task（任务类别）、image（图像）、question（问题）、choices（选项）、answer（答案）。样本为开放式提问，但均提供CMC版本。

模型评估结果

模型	2D关系	3D关系	旋转	遮挡	视角	平均
随机基线	25.0	25.0	25.0	25.0	25.0	25.0
LLaVA-1.5-7B	51.2	38.4	30.2	47.0	32.1	39.8
LLaVA-1.5-13B	54.0	41.7	32.4	50.5	34.9	42.7
Qwen2-VL-7B	66.3	52.0	42.1	61.2	45.7	53.5
InternVL2-8B	65.1	50.6	41.4	60.0	44.9	52.4
GPT-4o-mini	70.4	56.7	47.8	65.3	51.0	58.2
GPT-4o	76.5	63.4	55.2	71.1	58.9	65.0
人类	92.8	89.5	84.7	91.0	86.4	88.9

关键发现

• 所有模型在旋转和视角任务上表现最差（需要心理模拟而非直接感知）
• Qwen2-VL-7B相比LLaVA-1.5-7B在3D关系上有显著提升（+13.6分），表明其更强的3D先验能力

搜集汇总

数据集介绍

构建方式

在众多视觉问答基准测试中，空间推理往往被淹没于物体识别与计数等子任务之中。为剥离这一关键信号，研究者构建了Spatial-VQA-Bench数据集。该数据集包含3200个经过人工严格审核的样本，覆盖五大任务族：二维空间关系（左/右/上/下/之间）、三维空间关系（前/后/近/远）、旋转推理（顺时针旋转90°后的指向）、遮挡推理（部分或完全遮挡物体的状态）以及视点变换（物体背面的形态）。图像来源涵盖室内场景的ScanNet渲染图、OpenImages室内图像以及用于旋转与视点任务的合成三维场景，确保视觉输入的多样性与挑战性。

特点

Spatial-VQA-Bench的核心特点在于其高度聚焦的空间推理设计。与传统VQA基准不同，该数据集刻意排除颜色、材质等无关线索，使评估结果精准反映模型在空间理解上的真实能力。每个任务族均包含开放式问题与多项选择版本，便于灵活评测。基准测试结果揭示了显著性能差异：所有模型在旋转与视点任务上表现最弱，表明这些任务需要心理模拟而非直接感知；Qwen2-VL-7B在三维关系上较LLaVA-1.5-7B提升13.6个百分点，凸显其更强的三维先验知识。

使用方法

使用Spatial-VQA-Bench评估多模态大语言模型的空间推理能力极为简便。首先通过pip安装完整工具包：pip install -e ".[full]"。随后运行svb run命令指定模型与输出路径，例如svb run --model qwen2-vl-7b --output predictions/qwen2-vl-7b.jsonl。预测结果将以JSONL格式保存，可通过svb score命令评分并生成按任务族划分的准确率报告。如需复现论文中的基准结果，直接执行bash scripts/repro_table2.sh脚本即可。整个流程从安装到获得评估报告仅需数行命令，极大降低了使用门槛。

背景与挑战

背景概述

在计算机视觉领域，多模态大语言模型（MLLMs）在视觉问答（VQA）任务上取得了显著进展，然而现有基准测试往往将空间推理视为物体识别与计数的附属子任务，未能充分剥离其独立评估维度。为弥补这一缺陷，Boyang Ma于2025年推出了Spatial-VQA-Bench，一个专门聚焦于空间视觉推理的精炼基准。该数据集由来自ScanNet渲染图、OpenImages室内图像及合成3D场景的3200个经人工核查的样本构成，涵盖二维关系（左/右/上/下/之间）、三维关系（前/后/近/远）、旋转、遮挡及视点等五大任务族。其核心研究问题在于精准评估模型对物体间空间位置关系、非直接可见物体的推断以及视角变换下的视觉心理模拟能力，为空间认知研究提供了标准化测试平台。该基准因其高度的任务针对性，迅速成为衡量MLLMs空间智能的关键工具。

当前挑战

Spatial-VQA-Bench聚焦的领域挑战在于，传统VQA基准中空间推理能力被淹没于整体性能之下，现有模型在理解诸如“雨伞位于长椅后方”这类精细关系时表现薄弱，尤其缺乏对视角变换和物体间三维空间关系的深度理解。在构建过程中，挑战主要体现在三方面：首先是数据生产的复杂性，需从室内实际场景与合成3D环境中精确采集并标注涵盖不同空间关系的图像，确保样本对旋转和遮挡任务的代表性；其次是任务设计的纯化难度，需剔除颜色、纹理等无关特征干扰，使问题唯一指向空间认知；最后是评估指标的有效性，需在开放型与多项选择格式间保持一致性，从而真实反映模型的空间推理缺陷而非其他能力局限。

常用场景

经典使用场景

Spatial-VQA-Bench作为一个精细化的空间视觉推理基准，被广泛用于评估多模态大语言模型在空间关系理解方面的核心能力。该基准涵盖2D关系、3D关系、旋转、遮挡和视点五大任务族，通过3200个精心筛选的样本，系统性地检验模型对左右、前后、远近等空间方位以及几何变换的推理水平。研究者通常利用该基准横向对比不同模型在空间推理子任务上的表现，从而揭示模型在超越简单物体识别之外的深层次空间认知能力差异。

实际应用

在实际应用层面，该数据集为开发具有空间智能的机器人导航、增强现实和自动驾驶系统提供了关键的评测工具。例如在服务机器人领域，一个能够准确理解前方物体与后方障碍物空间关系的模型，才能可靠地执行抓取和避障操作。在AR辅助装配场景中，模型需要具备从任意视角推理部件方位的能力。该基准通过量化评估模型在这些真实场景中的空间推理短板，推动了多模态模型的落地部署，特别是在需要精确空间感知的人机交互系统中具有重要的参考价值。

衍生相关工作

Spatial-VQA-Bench衍生了一系列重要的学术工作，包括基于该基准改进模型空间推理能力的训练策略研究，以及针对旋转和遮挡任务设计的专用网络架构探索。部分工作通过分析各模型在5个子任务上的差异表现，提出了融合3D几何先验的视觉编码器优化方法。另有研究利用该基准的细粒度评测维度，揭示了当前主流多模态模型在空间语言理解上的系统性偏差，从而催生了融合空间语言对齐的跨模态预训练范式。这些衍生工作共同推动了视觉问答从粗粒度场景理解向精细化空间认知的学术转向。