Moment-Video
收藏资源简介：
Moment-Video是一个用于诊断视频多模态大语言模型在瞬时视觉事件上时间保真度的基准，专注于局部化的动作或状态转换，这些事件可能仅持续几帧，但决定了正确答案。该基准包含1,000个人工验证的视频-QA对，覆盖7个领域和25个细分子类别，涵盖真实世界和虚拟场景，并评估四种互补的任务类型：时间发生、时间计数、动作描述和时间推理。
Moment-Video is a benchmark for diagnosing the temporal fidelity of video multimodal large language models on transient visual events, focusing on localized action or state transitions that may span only a few frames but determine the correct answer. This benchmark contains 1,000 human-validated video-QA pairs, covering 7 domains and 25 fine-grained subcategories, encompassing both real-world and virtual scenarios, and evaluates four complementary task types: temporal occurrence, temporal counting, action description, and temporal reasoning.
数据集名称
Moment-Video
数据集简介
Moment-Video是一个用于诊断视频多模态大语言模型（MLLMs）在瞬时视觉事件上时间保真度的基准。该基准关注那些仅持续几帧、但对正确答案起决定性作用的局部动作或状态转换。与侧重于持久物体、全局场景上下文或长期语义聚合的基准不同，Moment-Video旨在检验模型能否注意到、计数、描述和推理这些简短的关键证据。
数据集规模与内容
- 视频问答对数量：1,000个经过人工验证的视频问答对。
- 覆盖领域：7个领域，涵盖真实世界和虚拟场景。
- 细粒度子类别：25个。
任务类型（4种互补任务）
- 时间发生（Temporal Occurrence, TO）：判断一个短暂的视觉事件或状态转换是否发生。
- 时间计数（Temporal Counting, TC）：计数短暂的行动、物体变化或重复事件发生的次数。
- 动作描述（Action Description, AD）：描述瞬时事件如何展开，包括方向、轨迹、目标、交互或状态变化。
- 时间推理（Temporal Reasoning, TR）：通过事件前状态、瞬时事件和事件后状态推断最终答案。
基准性能
评估了33个专有和开源视频多模态大语言模型。表现最好的模型 Seed-2.0-Pro 的整体准确率仅为 39.6%，大多数开源模型的准确率低于 25%，揭示了当前模型在捕捉和利用简短但决定性视觉证据方面的巨大差距。
最佳模型表现（按任务类型）
| 模型 | 时间发生 (%) | 时间计数 (%) | 动作描述 (%) | 时间推理 (%) | 整体 (%) |
|---|---|---|---|---|---|
| Seed-2.0-Pro | 50.37 | 31.14 | 47.08 | 42.35 | 39.6 |
| Seed-2.0-Lite | 34.81 | 25.64 | 36.04 | 40.00 | 31.3 |
| Seed-2.0-Mini | 32.59 | 22.88 | 33.77 | 25.88 | 27.8 |
最佳模型表现（按视频领域）
| 模型 | AIGC (%) | GUI (%) | 自然 (%) | 工业 (%) | 游戏 (%) | 人类 (%) | 动物 (%) | 整体 (%) |
|---|---|---|---|---|---|---|---|---|
| Seed-2.0-Pro | 45.57 | 33.94 | 69.44 | 41.32 | 39.37 | 27.20 | 55.00 | 39.6 |
| Seed-2.0-Lite | 22.78 | 27.98 | 51.39 | 30.58 | 25.62 | 26.80 | 52.00 | 31.3 |
| Seed-2.0-Mini | 24.05 | 22.94 | 58.33 | 29.75 | 22.50 | 20.80 | 43.00 | 27.8 |
数据与使用
- 标注文件：提供 CSV 和 JSON 格式的标注文件，位于
data/annotation_all.csv和data/annotation_all.json。 - 视频文件：需按照
data/videos/{Category}/{Subclass}/{Index}.mp4的结构存放。 - 推理方式：
- 原生视频推理：适用于接受原生
video_url输入的 OpenAI 兼容接口。 - 采样帧推理：适用于将采样帧作为多个图像输入的模型，示例中设置为 1 FPS 和最多 64 帧。
- 原生视频推理：适用于接受原生
- 评估方式：使用 LMM-as-a-Judge 方法，通过调用 LLM 评估器对模型答案进行语义判断，报告整体准确率以及按答案类型、视频领域、子类别和任务类型分组的准确率。
引用
bibtex @misc{liu2026momentvideodiagnosingtemporalfidelity, title={Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events}, author={Xiaolin Liu and Yilun Zhu and Xiangyu Zhao and Xuehui Wang and Yan Li and Xin Li and Haoyu Cao and Xing Sun and Shaofeng Zhang and Xu Yang and Zhihang Zhong and Xue Yang}, year={2026}, eprint={2606.02522}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2606.02522}, }
相关链接
- 论文：https://arxiv.org/abs/2606.02522
- 数据集：https://huggingface.co/datasets/VisionXLab/Moment-Video
- 项目页面：https://moment-video.netlify.app/
