Instruct-4D

Instruct-4D是一个用于指令条件化动态场景理解的大规模基准测试，包含来自自我中心驾驶场景（EgoWL）和校准多摄像头行人场景（AlloWL）的129.4K条指令、64.7K个目标世界线、851个场景和9种查询类型，涵盖目标定位、度量定位、时间与世界线理解等任务。Instruct-4D is a large-scale benchmark for instruction-conditioned dynamic scene understanding. It encompasses 129.4K instructions, 64.7K target worldlines, 851 scenes and 9 query types, sourced from two scenarios: egocentric driving scenes (EgoWL) and calibrated multi-camera pedestrian scenes (AlloWL). The benchmark covers tasks including object localization, metric localization, temporal and worldline understanding, and so on.

原始信息汇总

数据集概述：4DVLT（4D Vision-Language Tracking）

4DVLT 是一个专注于 动态场景理解 的新任务与基准，核心是通过 世界线（Worldline） 实现语言引导下的实体跟踪与度量三维重建。世界线是一种持久的、以对象为中心的结构，能够跨时间、多视角视频中绑定语义身份、度量三维运动以及同步的多视角二维投影。

该数据集项目包含两个互补的组成部分：Instruct-4D（基准数据集）和 4DTrack（方法框架）。

---

Instruct-4D 基准数据集

Instruct-4D 是一个用于语言条件世界线查询的基准，将空间、时间、几何和运动线索转化为语言查询。

数据集规模与构成

项目	数量
语言指令	129.4K
目标世界线	64.7K
场景数量	851
查询类型	9

场景来源

数据集结合了两种互补设置：

• EgoWL：基于动态的自我中心驾驶场景。
• AlloWL：基于校准后的多摄像机行人场景。

查询类型

9种查询类型涵盖以下能力：

• 目标定位与度量定位
• 时间与世界线理解，包括：
  • 消歧（Disambiguation）
  • 反向推理（Reverse Reasoning）
  • 轨迹形状（Trajectory Shape）
  • 运动变化（Kinematic Shift）
  • 运动残差（Motion Residual）

评估指标

• TGA 与 TGA_Top1：衡量序列级和第一时间戳的实体识别准确性。
• WQS 与 CTQ：分别评估世界线的无条件质量和在正确实体条件下的质量。

---

4DTrack 方法框架

4DTrack 将 4DVLT 任务建模为查询条件的世界线推理，包含以下步骤：

1. 对象中心4D状态图：连接跨时间与视图的候选物理状态。
2. 度量引导路由：利用语言、几何和可达性保留查询相关的子图。
3. 双向世界线解码：利用完全观察到的视频片段解决非局部的时序依赖。
4. 运动先验联合解码：将轨迹修正为符合物理规律的运动。
5. 视角对齐阶段：生成统一的3D轨迹与同步的多视角2D边界框。

消融实验发现

• 路由模块几乎贡献了所有第一时间戳的定位提升。
• 图结构、双向解码和运动校准主要在序列级定位与世界线质量指标上体现优势。
• 各模块构成有不同职责的推理链，而非可互换的改进来源。

---

实验结果

在 Instruct-4D 评估接口下，基于 Qwen3.5-9B 的 4DTrack 框架取得以下成绩：

模型	TGA<sub>Top1</sub> ↑	TGA ↑	WQS ↑	CTQ ↑	ADE<sub>3D</sub> ↓	SR<sub>3D</sub>@1m ↑
Qwen3.5-9B	14.12	10.13	13.99	55.90	13.71	11.38
4DTrack-Qwen3.5-9B	62.68	51.93	55.18	85.57	3.67	58.27

• 在度量位置或运动（如绝对3D位置、轨迹形状、运动残差）相关的查询上表现最强。
• 密集的同类别消歧（同一类别附近候选对象）是当前最具挑战性的场景。

---

发布状态

项目	状态
源代码	即将发布
Instruct-4D 基准	即将发布
模型检查点	即将发布
arXiv 预印本	即将发布

许可证

本项目采用 MIT 许可证。

搜集汇总

数据集介绍

构建方式

Instruct-4D数据集的构建围绕“世界线”这一核心表征展开，旨在将语义身份、度量三维运动及多视角二维投影在时间轴上统一绑定。数据集融合了两种互补场景：EgoWL从动态第一人称驾驶场景中提取，AlloWL则基于校准的多摄像机行人场景构建。通过将空间定位、时间逻辑、几何关系及运动线索转化为语言条件化的世界线查询，共生成129.4K条指令，覆盖64.7K条目标世界线，囊括851个场景与9种查询类型。查询类型不仅涵盖目标定位与度量位置，还深入时间与世界线理解，包括消歧、反向推理、轨迹形状、运动偏移及动力学变化等维度。

特点

该数据集的核心创新在于将传统视觉-语言追踪任务中的两个易混淆问题分离：模型是否识别了所指实体，以及是否为该实体恢复了忠实的世界线。为此，提出了两阶段评估体系——TGA与TGA_Top1度量序列级与首时间戳的实体定位能力，WQS与CTQ则分别评估无条件和正确条件约束下的世界线质量。九种查询类型覆盖了从绝对三维位置、轨迹形状到运动残差等丰富指令模式，使模型在度量位置与运动相关任务上表现优异，而密集同类别消歧则构成最具挑战性的场景。这种设计不仅提升了动态场景理解的精准度，也揭示了不同推理阶段对模型能力的差异化需求。

使用方法

使用Instruct-4D时，模型需以语言指令为条件，从完整观测的多视角视频中恢复目标实体的世界线。首先通过物体中心的4D状态图，跨时间与视角链接候选物理状态；继而利用度量引导路由，结合语言、几何与可达性约束筛选与查询相关的子图；随后采用双向世界线解码，利用完整视频片段解决非局部时间依赖；最后经运动学先验联合解码校准路径至物理合理运动，并通过视角对齐生成统一的三维轨迹及同步的多视角二维边界框。评估时需分别计算实体定位指标（TGA系列）与世界线质量指标（WQS、CTQ），以全面衡量模型性能。

背景与挑战

背景概述

动态场景理解是计算机视觉领域的一项根本性挑战，旨在使模型能够随时间连贯地追踪并表达物理实体。传统方法多局限于单帧或短时序列的二维目标跟踪，难以在三维空间与多视角同步条件下保持实体身份的一致性。2025年，来自华中科技大学、上海交通大学与浙江大学的研究团队（包括李超越、杨博学、周晟尧等）提出了Instruct-4D基准数据集，其核心创新在于将世界线（worldline）概念引入视觉-语言跟踪任务。该数据集包含129.4K条指令、64.7K条目标世界线及851个场景，覆盖驾乘视角与多视角行人场景，系统性地评估模型在目标定位、度量恢复与时序推理上的综合能力。Instruct-4D的提出为动态场景理解提供了全新的评估范式，推动了将语言指令与三维空间-时间密集关联的研究前沿。

当前挑战

Instruct-4D面临的挑战可归纳为两个层面。首先，在领域问题层面，现有模型常混淆实体识别与世界线恢复两个子任务，而该基准通过分离TGA与WQS等指标揭示了这一困境：即便模型正确锁定目标，其在三维轨迹精度与多视角一致性上仍可能表现不佳，尤其当同类别目标密集出现时，视觉与运动模式的高度相似导致严重歧义。其次，在构建过程中，数据集需从动态场景中精确标注物理实体的三维运动轨迹及多视角对应关系，涉及复杂的时间同步、几何校准与语义漂移处理；同时，九类查询指令的设计需兼顾接地性、度量性与逻辑性，这要求人工标注具备高度的专业性与一致性。这些挑战共同构成了动态场景理解迈向实用化的关键瓶颈。

常用场景

经典使用场景

在动态场景理解的研究中，Instruct-4D数据集为四维视觉语言追踪（4DVLT）提供了核心基准。其经典使用场景聚焦于通过自然语言指令，在完全观测的多视角视频中定位并持续追踪一个物理实体的世界线（worldline）。数据集精心设计了九种查询类型，涵盖空间定位、时间推理、几何约束与运动模式，例如基于绝对三维位置的接地、轨迹形状判别、运动残差捕捉以及同类物体的消歧。这些查询迫使模型不仅要识别目标身份，还需在度量三维空间与同步二维视图中重建其连贯的时空轨迹，从而打破了传统单帧框回归的局限，推动了从语义理解到物理世界建模的范式跃迁。

实际应用

在实际应用层面，Instruct-4D所支撑的技术能够赋能多个高价值领域。在自动驾驶中，模型可根据指令（如“前方正在左转的白色轿车”）持续追踪特定车辆，即便目标经历遮挡或不同摄像头视角切换，仍能保持身份稳定。在机器人交互场景，该数据集训练的系统能够理解多模态指令，比如“跟踪那辆静止但尾部有轻微振动的自行车”，并在三维空间中输出其运动轨迹，支撑精细化的避障与导航决策。此外，在增强现实和智能视频监控领域，跨越时间与视点的稳定物体追踪能力，使得语言驱动的动态物体检索与行为分析成为可能，显著提升了人机协同的直觉性与鲁棒性。

衍生相关工作

基于Instruct-4D的基础框架，衍生了多项具有代表性的后续工作。首先，4DTrack作为配套的推理框架，通过构建物体中心四维状态图、实施度量引导的路由机制以及双向世界线解码，展示了如何将语言查询转化为物理上连贯的轨迹输出。其消融实验揭示了不同模块的分工协作关系，为后续架构设计提供了指导。其次，该数据集催生了跨模态四维接地领域的基准研究，九种查询类型成为评估模型时空推理能力的标准挑战。此外，相关工作开始探索将Instruct-4D与大规模视频语言模型结合，利用其精细的轨迹标签训练更强的世界线解码器，并推动将世界线表示融入端到端的多视角视频理解系统。