nyu-visionx/VSI-590K

VSI-590K是一个大规模的空间聚焦指令微调数据集，专注于空间推理。该数据集从多个来源精心挑选和注释，包含590,667个问答对，5,963个独特视频和44,858个独特图像。数据集包括注释的现实视频、模拟数据和未注释的现实视频，用于支持视觉问答、视频文本到文本和图像到文本等任务。

VSI-590K is a large-scale spatially-focused instruction-tuning dataset focusing on spatial reasoning. Curated from diverse sources and carefully annotated, the dataset includes 590,667 QA pairs, 5,963 unique videos, and 44,858 unique images, comprising annotated real videos, simulated data, and unannotated real videos for tasks such as visual question answering, video-text-to-text, and image-to-text.

搜集汇总

数据集介绍

构建方式

VSI-590K是一个大规模、面向空间推理的指令微调数据集。其构建过程融合了多种数据来源与精细化的标注策略。首先，基于VSI-Bench基准，研究者重新利用了S3DIS、ScanNet等现有室内扫描与自我视觉数据集中的3D实例级标注，通过元信息文件提取场景属性并自动生成问答对。其次，借助ProcTHOR和Hypersim等具身模拟器，程序化生成具有多样布局与物体放置的视频轨迹及问答对。最后，针对缺乏3D标注的网络视频与机器人数据集，构建了伪标注流水线，通过图像检测、分割与视频重建模型生成伪标注图像，从而扩展数据规模与多样性。

特点

该数据集包含590,667个问答对，涵盖59,963个独特视频与44,858张独特图像，来源横跨10个不同的数据源，包括标注的真实视频、模拟数据与无标注的真实视频。其核心特点在于聚焦空间推理，问题类型涵盖相对方向、绝对距离与物体计数等细粒度空间属性。数据集通过混合真实与合成数据，有效弥补了3D标注数据的稀缺性，并借助伪标注技术引入网络视频的丰富场景多样性，从而构建了一个兼具规模、广度与空间理解深度的多模态指令数据集。

使用方法

数据集以JSONL格式存储，每一行为一个JSON对象，包含对话记录、问题类型及媒体路径。用户可通过Python的json模块逐行加载数据，提取问题与答案进行训练或推理。具体使用时，可解析'conversations'字段获取人类提问与GPT回答，结合'question_type'字段进行分类处理，并依据'image'或'video'字段索引对应的媒体文件。该格式简洁灵活，适用于多模态视觉问答与视频文本生成等下游任务的微调与评估。

背景与挑战

背景概述

视觉空间推理是人工智能领域迈向具身智能的关键瓶颈，传统多模态大模型在二维语义理解上虽已取得显著进展，却难以应对三维空间中的方位关系、距离感知与物体计数等细粒度任务。为弥合这一鸿沟，纽约大学视觉与学习实验室（NYU VisionX）联合多位研究者于2025年发布了VSI-590K数据集，该数据集由Shusheng Yang、Jihan Yang等学者主导构建，旨在为多模态空间推理提供大规模指令微调基准。研究团队从S3DIS、ScanNet等室内扫描数据集、ProcTHOR仿真环境以及YouTube等网络视频中系统采集了590,667个问答对，覆盖44,858张图像与5,963段视频，开创性地将三维几何理解与自然语言指令相结合。该数据集的发布不仅填补了空间推理训练数据的空白，更推动了Cambrian-S系列模型在视频空间感知能力上的突破，为后续具身智能体在复杂环境中的导航与操作研究奠定了数据基础。

当前挑战

VSI-590K数据集所面对的挑战根植于空间推理领域固有的复杂性。其一，真实三维标注数据的稀缺性构成核心障碍：室内扫描数据集虽提供实例级标注，但规模有限且场景类型单一，难以覆盖现实世界中多样的空间布局与物体组合。其二，构建过程中需克服多源数据异构性带来的标注噪声：网络视频虽蕴含丰富的房间类型与地域多样性，却缺乏三维几何信息，研究团队不得不设计伪标注流程，借助图像检测、分割与视频重建模型生成监督信号，然而这些模型在完整视频上的语义提取与重建结果噪声显著，迫使策略转向逐帧图像处理以平衡精度与效率。其三，仿真数据与真实数据之间的域差异挑战模型泛化能力：ProcTHOR等模拟器虽能程序化生成空间轨迹与问答对，但其渲染风格、物体外观与物理规律仍与真实场景存在偏差，可能限制模型在现实应用中的迁移效果。

常用场景

经典使用场景

VSI-590K 作为大规模空间聚焦指令微调数据集，其最经典的使用场景在于训练多模态大语言模型（MLLMs）以提升空间推理能力。通过精心设计的问答对，该数据集引导模型学习理解图像与视频中物体间的相对方向、绝对距离以及数量关系等空间特征，从而在视觉问答（VQA）和视频文本理解任务中展现出卓越的空间感知性能。研究者常将其作为微调阶段的基石，使模型从静态识别跃升至动态空间关系推理，为构建具有三维世界理解能力的智能体奠定数据基础。

解决学术问题

该数据集精准解决了多模态模型在空间推理领域长期面临的训练数据匮乏与标注质量参差不齐的学术难题。传统视觉数据集多聚焦于物体分类或语义分割，缺乏对三维空间中方位、距离和布局的细粒度监督。VSI-590K 通过融合真实室内扫描、仿真环境与网络视频的伪标注，构建了超过59万条高质量问答对，使模型能够系统学习空间关系的表示与推理。这一突破显著推动了计算机视觉与自然语言处理的交叉研究，为评估和提升模型的空间智能提供了标准化基准。

衍生相关工作

VSI-590K 的发布催生了一系列重要学术工作。其配套的 Cambrian-S 模型体系率先展示了空间超感知能力，通过在该数据集上微调，模型在 VSI-Bench 等空间推理基准上取得了显著性能提升。后续研究借鉴其数据构建范式，开发了针对自动驾驶场景的 SpatioDrive 数据集，以及融合时序信息的 VideoSpatial 基准。此外，该数据集启发了关于伪标注质量优化和跨域空间泛化的探索，推动了多模态模型从二维感知向三维理解的范式转变，成为空间智能研究领域的关键数据枢纽。