VSTAT
收藏资源简介：
VSTAT（视觉状态跟踪）是一个基准数据集，用于评估多模态大语言模型在长视频中跟踪细粒度视觉状态变化的能力。与测试静态场景理解或简单事件识别的基准不同，VSTAT要求模型在来自YouTube的扩展视频序列中维护对象状态、计数变化和时间顺序的运行心理模型。
VSTAT (Visual State Tracking) is a benchmark dataset for evaluating the capability of multimodal large language models to track fine-grained visual state changes in long-form videos. Unlike other benchmarks that test static scene understanding or simple event recognition, VSTAT requires models to maintain an online mental model of object states, count changes, and temporal order across extended video sequences sourced from YouTube.
VSTAT：多模态视频理解中的视觉状态跟踪基准
VSTAT (Visual STAte Tracking) 是一个用于评估多模态大语言模型在长视频中跟踪细粒度视觉状态变化能力的基准。与测试静态场景理解或简单事件识别的基准不同，VSTAT 要求模型维护一个关于物体状态的动态心理模型，并能在来自 YouTube 的长视频序列中计数变化和追踪时间顺序。
发布状态： 2026年5月，VSTAT基准和评估代码已发布。
关键结果
- 最强专有模型（Gemini-3.1 Pro）平均得分仅为 44.4，远低于人类表现（90.5），凸显了当前多模态大语言模型在视觉状态跟踪上的挑战。
- 模型在零样本设置下进行基准测试，使用贪婪解码。
- 问题按状态元素（计数、位置、属性）和状态结构（原子、序列、集合、字典）进行标注。
- 多项选择题通过准确率评分；数值任务通过平均相对准确率评分。
基准与安装
- 数据集托管： 在HuggingFace上的
nyu-visionx/VSTAT集合中。 - 安装步骤：
- 创建并激活 conda 环境：
conda create --name vstat python=3.10/conda activate vstat - 克隆代码库：
git clone https://github.com/vision-x-nyu/vstat.git并进入目录。 - 初始化子模块并安装：
git submodule update --init --recursive && pip install -e ".[video]"
- 创建并激活 conda 环境：
- 下载数据：
- 下载数据集到
data/文件夹：huggingface-cli download nyu-visionx/VSTAT --repo-type=dataset --local-dir data/vstat - 运行视频下载和编辑脚本：依次执行
cd data/vstat、python scripts/download_youtube.py --resolution-map youtube_resolutions.json、bash scripts/redact.sh、cd ../..。 - 确保评估前
vstat_qa_clean.json中引用的每个视频都存在于data/vstat/下。
- 下载数据集到
- 自定义路径： 可通过环境变量
VSTAT_QA_PATH和VSTAT_VIDEO_ROOT设置。
评估
评估任务名为 vstat。
- 开源模型（单进程）： 使用
python -m lmms_eval命令，指定--model和--model_args（例如Qwen/Qwen3-VL-8B-Instruct）。 - 开源模型（多GPU）： 使用
python -m accelerate.commands.launch命令进行多GPU分布式评估。 - API模型（例如Gemini）： 设置 API 密钥并运行
python -m lmms_eval，指定--model gemini_api和相应的--model_args（例如model_version=gemini-3.1-pro-preview）。 - 环境变量：
VSTAT_QA_PATH：指向 QA JSON 文件，默认为data/vstat/vstat_qa_clean.json。VSTAT_VIDEO_ROOT：视频文件根目录，默认为data/vstat/。HF_HOME：HuggingFace缓存路径，默认为~/.cache/huggingface。
许可
本项目基于 Apache License 2.0 许可。
引用
如需引用本基准和代码，请按以下格式：
bibtex @article{vstat2026, title={Benchmarking Visual State Tracking in Multimodal Video Understanding}, author={Sihyun Yu and Nanye Ma and Pinzhi Huang and Hyunseok Lee and Shusheng Yang and June Suk Choi and Ellis Brown and Oscar Michel and Boyang Zheng and Jinwoo Shin and Saining Xie}, year={2026}, journal={arXiv preprint arXiv:2606.03920}, }
