nyu-visionx/vstat

VSTAT是一个基于视频的基准测试，用于评估多模态大语言模型（MLLMs）的视觉状态跟踪能力。它包含813个视频片段，配对1,479个问题，这些问题的答案无法从任何单个关键帧或短片段推断。数据集旨在测试模型在长时间视频理解中跟踪视觉状态变化的能力，覆盖合成视频、自录视频和YouTube视频等多种来源。

VSTAT is a video-based benchmark for evaluating the visual state tracking capability of Multimodal Large Language Models (MLLMs). It contains 813 video clips paired with 1,479 questions whose answers cannot be inferred from any single keyframe or short segment.

搜集汇总

数据集介绍

构建方式

VSTAT数据集的构建旨在系统性地评估多模态大语言模型在视频中的视觉状态追踪能力。其构建过程采用多源策略，包含三个子集：合成视频（450段）由Blender渲染生成，可精确控制场景变量与状态变化；自录视频（80段）由作者拍摄的手部操作场景构成，剔除了音频与面部信息以保护隐私；YouTube视频（304段）则从公开平台采集，通过下载脚本与裁剪工具将其切割为符合评测规范的片段，并依据标注的隐私区域进行黑块遮挡处理。所有视频片段均与1,500道问题配对，且每道题的答案无法从单一关键帧或短片段推断，从而确保对持续时间维度理解能力的有效考察。

特点

该数据集的核心特点在于其精细的多维标注体系与对抗性设计。每道问题均依据感知复杂度（如动作歧义、相机运动、遮挡等）、状态元素类型（计数、位置、属性）以及状态结构（原子式、序列式、集合式、字典式）进行分类，形成细粒度的评测维度。视频来源的多样性（合成、自录、真实场景）增强了基准的泛化性。特别地，所有问题均需依赖跨帧信息整合才能作答，有效地规避了模型依赖单帧静态线索的捷径行为。此外，数据集附带了隐私红化脚本与分辨率映射工具，确保了评测流程的可复现性与标准化。

使用方法

使用者首先通过HuggingFace命令行工具或Git LFS克隆完整仓库，获得标注文件及合成、自录视频。随后运行提供的Python脚本下载YouTube子集中的视频片段，该脚本利用yt-dlp获取源视频并依据分辨率映射文件进行精确裁剪，再通过Bash脚本对指定区域进行隐私遮挡。推荐搭配`--resolution-map`参数使用以严格复现官方评测环境。数据加载通过解析`vstat_qa_clean.json`文件完成，每条记录包含视频路径、来源类型、问题文本、答案类型与选项、感知复杂度标签等字段。针对选择题与数值型问题，数据集分别提供了基于字符匹配与数值比较的评分逻辑示例。

背景与挑战

背景概述

VSTAT（Visual State Tracking Benchmark）是由纽约大学（NYU）VisionX团队于2026年创建的视频基准数据集，旨在评估多模态大语言模型（MLLMs）的视觉状态跟踪能力。该数据集包含834个视频片段和1500个问题，视频来源涵盖合成渲染、作者自录及YouTube真实场景，核心研究问题聚焦于模型能否捕捉视频中物体状态随时间变化的动态信息。VSTAT的提出填补了现有视频理解基准多集中于静态帧或短时序推理的空白，强调对长期、多步骤状态演变的跟踪能力，为衡量MLLMs在复杂时空场景下的感知与推理提供了标准测试平台，对视频理解、具身智能及人机交互等领域具有重要影响力。

当前挑战

VSTAT所解决的领域挑战在于传统视频问答基准常依赖单帧或短片段推断答案，忽略了状态随时间的连续变化与多实体交互。具体挑战包括：1）视频中的目标状态（如位置、数量、属性）可能因遮挡、相机运动、动作歧义等因素而难以跟踪；2）状态结构复杂，涵盖原子、序列、集合和字典等类型，要求模型具备跨时间步的整合能力。构建过程中的挑战涉及：①合成视频需精确渲染可控的状态变化；②自录视频需确保隐私（仅含手部无面部音频）；③YouTube视频需处理版权、分辨率一致性和隐私遮蔽（如记分板），并依赖自动化下载脚本应对链接失效问题，最终通过匹配分辨率映射和重载脚本实现标准化输出。

常用场景

经典使用场景

VSTAT数据集专为评估多模态大语言模型（MLLMs）在视频中的视觉状态跟踪能力而设计，涵盖834个视频片段和1,500个问答对。其视频来源包括合成渲染、自录手部动作以及YouTube真实场景，确保数据多样性与挑战性。经典用法是向模型提出需要跨帧推理的问题，例如追踪物体数量变化、位置移动或属性演变，答案无法从单一关键帧或短片段获得。研究者通过该基准测试模型对动态场景中连续状态变化的感知与理解能力，尤其关注其在复杂视觉条件（如遮挡、相机运动、多实体归属）下的表现。评估分为多项选择与数值回答两种形式，并辅以感知复杂度和状态结构标签，为全面诊断模型弱点提供结构化框架。

衍生相关工作

VSTAT数据集的发布催生了多项衍生工作，主要集中在提升多模态模型的时间推理能力。首先，基于其感知复杂度标签（如遮挡、相机运动），研究者开发了针对性的数据增强策略，如时间掩码或动态模糊模拟，以缓解模型对特定干扰的敏感性。其次，其状态结构分类（原子、序列、集合、字典）启发了结构化记忆模块的设计，例如将视频片段编码为可查询的状态表以增强长程推理。此外，该基准成为验证新架构的标尺，如时序感知的视觉编码器和动态注意力机制，已在多项后续研究中用于对比基线。最后，VSTAT的YouTube子集推动了对真实场景解析的研究，催生了结合场景图预测与状态跟踪的联合学习框架。

数据集最近研究

最新研究方向

视觉状态追踪（Visual State Tracking）已成为多模态大语言模型（MLLMs）在视频理解领域中一项前沿且极具挑战性的能力维度。VSTAT基准数据集应运而生，它精细构建了834个视频片段与1,500道问答对，这些问题的答案无法从单一关键帧或短片段中推断，迫使模型必须依赖完整视频上下文进行持续跟踪。该数据集通过合成、自录制及YouTube来源的视频，系统性地评估MLLMs在计数、位置和属性等状态元素上的追踪表现，并创新性地引入了动作歧义、遮挡、多实体属性关联等感知复杂度标签，揭露了现有模型在动态场景中长程状态建模的显著短板。VSTAT的发布不仅为视频多模态理解研究提供了标准化测试平台，更直接响应了具身智能、视频监控与实时交互等热点应用对模型持续状态感知能力的迫切需求，其影响辐射至从自动驾驶到智能辅助系统的广阔领域，推动了MLLMs从静态内容识别迈向动态因果推理的关键跨越。