SpaceVista-Bench
收藏资源简介：
SpaceVista是一个用于评估全尺度视觉空间推理能力的基准数据集，覆盖从毫米到公里的空间范围。该数据集旨在推动多模态空间推理研究，特别适用于机器人、自动驾驶和具身智能体等需要理解不同尺度空间关系的应用场景。数据集包含四个明确分类的空间尺度：TinyTabletop（毫米级，聚焦桌面小物体的细粒度空间细节）、Tabletop（厘米级，标准桌面场景与常见物体）、Indoor（米级，房间级室内环境）和Outdoor（公里以下级，大规模户外与驾驶场景）。核心数据以统一的JSON格式文件（bench_final.json）提供，包含了所有评估条目。实际数据由两部分组成：一是提取的视频帧（PNG格式），组织在image_data目录下按类别和场景存放；二是原始源视频（MP4格式），组织在raw_data目录下。数据集提供了交互式网页预览工具，支持视频帧播放、搜索过滤以及服务器端的标注渲染（点、边界框、掩码覆盖），便于浏览和检查数据。
SpaceVista is a benchmark dataset for evaluating full-scale visual spatial reasoning capabilities, covering spatial scales ranging from millimeters to kilometers. This dataset aims to advance multimodal spatial reasoning research, and is particularly tailored for application scenarios that require understanding spatial relationships across different scales, such as robotics, autonomous driving, and embodied AI Agents. The dataset includes four explicitly categorized spatial scales: TinyTabletop (millimeter scale, focusing on fine-grained spatial details of small desktop objects), Tabletop (centimeter scale, standard desktop scenes and common objects), Indoor (meter scale, room-level indoor environments), and Outdoor (sub-kilometer scale, large-scale outdoor and driving scenarios). The core dataset is provided via a unified JSON file named bench_final.json, which contains all evaluation entries. The actual dataset consists of two parts: first, extracted video frames in PNG format, organized in the image_data directory by category and scene; second, the original source videos in MP4 format, stored in the raw_data directory. The dataset provides an interactive web preview tool that supports video frame playback, search and filtering, as well as server-side annotation rendering (points, bounding boxes, mask overlays) to facilitate data browsing and inspection.
数据集概述
SpaceVista-Bench 是一个用于全尺度视觉空间推理的评估基准数据集，覆盖从毫米（mm）到千米（km）的多种空间尺度。
核心信息
- 语言: 英语 (en)
- 许可协议: CC-BY-4.0
- 数据规模: 1M < n < 10M
- 任务类型: 视频-文本到文本 (video-text-to-text)
- 标签: 视频、推理、空间、多模态、空间推理、机器人、自动驾驶、具身智能
数据类别
该数据集包含四个空间尺度的类别，每个类别对应不同的场景和物体：
| 类别 | 尺度 | 描述 |
|---|---|---|
| TinyTabletop | 毫米级 | 具有精细空间细节的小型桌面物体 |
| Tabletop | 厘米级 | 标准桌面场景中的常见物体 |
| Indoor | 米级 | 房间级别的室内环境 |
| Outdoor | 小于千米 | 大规模户外与驾驶场景 |
数据文件
| 文件 | 描述 |
|---|---|
bench_final.json |
统一的基准数据JSON格式，包含四个空间尺度的所有评估条目 |
数据获取与解压
-
数据通过Git LFS从HuggingFace仓库下载：
git clone https://huggingface.co/datasets/SpaceVista/SpaceVista-Bench -
数据以两个压缩包形式分发：
image_data.tar.gz：提取的视频帧（PNG格式），按类别/场景组织raw_data.tar.gz：原始源视频（MP4格式），按类别/场景组织
-
解压后目录结构：
. ├── bench_final.json ├── image_data/ │ ├── TinyTabletop/<scene>/<frame>.png │ ├── Tabletop/<scene>/<frame>.png │ ├── Indoor/<scene>/<frame>.png │ └── Outdoor/<scene>/<frame>.png └── raw_data/ ├── TinyTabletop/<scene>/<video>.mp4 ├── Tabletop/<scene>/<video>.mp4 ├── Indoor/<scene>/<video>.mp4 └── Outdoor/<scene>/<video>.mp4
-
注意：
bench_final.json中的路径均为相对路径，需将该JSON与数据文件夹置于同一目录。
预览工具
提供一个交互式Web预览工具，支持：
- 视频帧播放与进度条（2帧/秒）
- 服务器端标注渲染（点、边界框、遮罩叠加）
- 按输入类型筛选（Mask / Point / BBox / Text）
- 根据ID、任务类型和问题内容进行关键词搜索
使用方式： bash cd preview_script python3 serve.py [port] # 默认端口：8081
然后在浏览器中打开 http://localhost:<port>/preview_script/preview.html。
评估
评估代码和详细说明请参考GitHub仓库：https://github.com/PeiwenSun2000/SpaceVista/tree/main/eval
参考论文
- 论文标题：SpaceVista: All-Scale Visual Spatial Reasoning from mm to km
- arXiv链接：https://arxiv.org/abs/2510.09606
