WanyueZhang/World2VLM

World2VLM数据集旨在通过世界模型作为教师模型，将空间想象力蒸馏到视觉语言模型（VLMs）中，从而增强其动态空间推理能力。该数据集使VLMs能够在推理时无需外部模拟的情况下，对未来的视图和动作结果进行推理。演示数据集包含基于轨迹的监督样本和8种动态空间推理任务类型的示例。数据集结构包括四个子集，涵盖不同的教师模型和场景类型。每个子集包含一个轨迹束和一个带有结构化监督的tasks_demo.jsonl文件。数据格式和任务套件详细说明了数据构造流程和数据集的关键特征。

The World2VLM dataset is designed to enhance Vision-Language Models (VLMs) with dynamic spatial reasoning capabilities by distilling spatial imagination into VLMs using world models as teachers. This enables VLMs to reason about future views and action consequences without external simulation at inference time. The demo dataset includes trajectory-based supervision samples and examples of 8 dynamic spatial reasoning task types. The dataset structure comprises four subsets covering different teacher models and scene types. Each subset includes a trajectory bundle and a tasks_demo.jsonl file with structured supervision. The data format and task suite are detailed, along with the data construction pipeline and key features of the dataset.

搜集汇总

数据集介绍

构建方式

World2VLM数据集的构建依托于世界模型的强大模拟能力，首先从锚定图像出发，采样一段以自我为中心的连续动作序列，随后利用世界模型生成对应动作执行后场景的未来视图。这些视觉状态转换被巧妙转化为双向推理监督信号，包括根据动作预测结果的正向任务和根据前后视图推断动作的逆向任务。数据集涵盖SVC与HY-WorldPlay两种世界模型教师，并分别针对真实场景与模拟场景进行构建，最终以结构化轨迹束与任务描述文件的形式存储，确保模型可从中习得空间想象力。

使用方法

使用World2VLM数据集时，用户可直接加载提供的四个演示子集，每个子集包含一个轨迹束（含图像与元数据）和一个tasks_demo.jsonl文件。该文件中每行代表一个训练样本，包含任务类型、多轮对话消息（用户提示与目标答案）以及相关图像的相对路径。用户可基于此格式设计训练流程，用于微调视觉语言模型以提升其动态空间推理能力，包括动作预测、目标追踪与视角变换理解等任务。完整数据集（约10万样本）即将发布，当前演示数据可用于格式验证与管道理解。

背景与挑战

背景概述

动态空间推理是视觉语言模型（VLM）研究中的关键瓶颈。尽管VLM在静态场景理解上表现出色，但面对动作驱动的未来视图预测或因果推理，其空间想象能力仍显匮乏。为了弥补这一鸿沟，Wanyue Zhang等研究者在2026年提出了World2VLM框架，并构建了配套数据集。该数据集以世界模型为教学者，通过蒸馏其空间想象力，使VLM能够在不依赖外部模拟的情况下进行动态空间推理。数据集覆盖真实与模拟场景，包含8类双向推理任务，涵盖运动距离估计、物体可见性检测等多种高难度任务。这一工作为VLM在具身智能、自主导航等领域的应用奠定了重要基础，并推动了多模态模型在空间认知能力上的质变。

当前挑战

该数据集主要面临两大核心挑战。首先，在领域问题层面，现有VLM普遍缺失对动作后果的心理模拟能力，尤其在需要推理未来视图或反向推导动作的场景中表现薄弱，这导致模型在动态空间推理基准上远逊于人类直觉。其次，在数据构建过程中，如何利用世界模型高效生成高质量且语义一致的轨迹数据是一个艰巨任务，包括确保生成的未来视图在几何与纹理上的逼真度，以及将连续动态转化为离散化、结构化的双任务监督形式。此外，平衡真实场景与模拟场景的数据分布，并避免过拟合于特定世界模型，也是构建过程中不可回避的技术难题。

常用场景

经典使用场景

World2VLM数据集的核心应用在于训练视觉语言模型（VLM）掌握动态空间推理能力。该数据集巧妙地将世界模型作为训练阶段的教师，通过生成未来视角与动作后果的结构化监督信号，使VLM能够在推理时无需依赖外部模拟器即可进行空间想象。具体而言，数据集包含了八种双向空间推理任务，涵盖以运动为中心的估计与验证（如A1至A4）以及以物体为中心的预测与推理（如D1至D4），这些任务共同强化了模型对相机运动、物体变换以及视角变化的理解。经典使用方式包括基于前向推理预测动作结果，以及基于逆向推理从图像变化反推动作类型，从而全面锻炼模型的时空认知能力。

解决学术问题

该数据集主要针对视觉语言模型在动态空间推理上的根本性缺陷——即缺乏对场景在动作作用下如何变化的心理模拟能力。传统VLM在静态视觉理解上表现优异，但面对诸如预测前进或转向后视野变化等动态场景时困难重重。World2VLM通过将世界模型的想象能力蒸馏至VLM中，有效弥合了这一鸿沟。其意义在于，它提出了一种无需在推理时运行昂贵仿真器的轻量级解决方案，显著提升了模型对真实世界中连续动作与物体空间关系的推理精度。此外，该工作推动了将具身智能中的世界模型思想与语言视觉模型相融合的研究方向，为后续构建更具环境适应性的智能体奠定了基础。

实际应用

World2VLM数据集在实际应用场景中展现出广阔前景，尤其是在机器人导航、自动驾驶以及增强现实等领域。例如，在机器人自主移动中，模型可以利用蒸馏得到的空间推理能力，仅凭当前视角和预期动作便推断出接下来的环境变化，无需实时运行复杂的世界模型。在自动驾驶系统中，该技术可帮助车辆预测其他交通参与者的运动轨迹以及自身操作后的场景演变。此外，在增强现实应用中，设备可以更准确地理解用户视角变化对虚拟物体位置的影响，从而提供更自然、连贯的交互体验。这些应用都得益于World2VLM在无需额外计算开销的前提下，赋予了VLM强大的动态场景模拟能力。

数据集最近研究

最新研究方向

World2VLM数据集聚焦于将世界模型的空间推理能力蒸馏至视觉语言模型（VLM）中，旨在攻克VLM在动态场景理解中的关键短板——即无法有效预测动作引发的场景变化。通过构建包含双向推理任务（正向预测与逆向推断）的多样化训练样本，该数据集推动了VLM从静态感知迈向动态推理的前沿探索，其创新性在于使模型在推理阶段无需外部世界模型即可实现空间想象，显著降低计算开销。这一成果与具身智能、自动驾驶等热点领域对实时环境理解的需求紧密呼应，为打造具备类人空间认知能力的多模态智能体提供了理论与数据支撑，对推动VLM在复杂交互任务中的落地具有里程碑意义。