CrossVid
收藏资源简介:
CrossVid是第一个用于评估多模态大语言模型中跨视频推理能力的综合基准测试。与现有专注于单视频分析的基准不同,CrossVid挑战模型同时理解、聚合和比较多个视频中的信息。该基准包含9,015个问答对,涉及5,331个来自6个不同数据集的视频,涵盖10个特定任务,分布在4个维度(比较分析、时间理解、多视角推理和自由形式问答),覆盖32种现实世界场景类型,平均每个查询的视频时长达到770秒。
CrossVid is the first comprehensive benchmark for evaluating cross-video reasoning capabilities in multimodal large language models. Unlike existing benchmarks focused on single-video analysis, CrossVid challenges models to simultaneously understand, aggregate, and compare information across multiple videos. This benchmark contains 9,015 question-answer pairs, involving 5,331 videos sourced from 6 distinct datasets, covering 10 specific tasks distributed across 4 dimensions (comparative analysis, temporal understanding, multi-view reasoning, and free-form question answering), spanning 32 real-world scenario types, with an average video duration per query reaching 770 seconds.
CrossVid 数据集概述
数据集简介
CrossVid 是首个用于评估多模态大语言模型跨视频推理能力的综合性基准。该基准挑战模型同时理解、聚合和比较多个视频中的信息。
核心特性
- 首创系统性跨视频推理基准,采用分层任务设计
- 9,015个问答对,覆盖5,331个视频,源自6个不同数据集
- 10个具体任务,涵盖4个维度(比较分析、时序理解、多视角推理、自由形式问答)
- 32种类型,覆盖真实世界场景
- 长上下文:每个查询平均770秒
- 多种格式:单选题、多选题和开放式问题
任务维度
比较分析
- 行为理解 (BU)
- 叙事理解 (NC)
- 烹饪比较 (CC)
- 程序错误分析 (PEA)
时序理解
- 情节推理 (PI)
- 功能步骤对齐 (FSA)
- 程序步骤排序 (PSS)
多视角推理
- 多视角空间推理 (MSR)
- 多视角物体计数 (MOC)
自由形式问答
- 比较性烹饪问答 (CCQA)
数据统计
| 指标 | 数值 | 指标 | 数值 |
|---|---|---|---|
| 视频数量 | 5,331 | 类型数量 | 32 |
| 问答对数量 | 9,015 | 任务数量 | 10 |
| 平均视频长度 | 215秒 | 平均查询时长 | 770秒 |
数据来源
视频来自6个公共数据集:
- Animal Kingdom
- MovieChat-1K
- YouCook2
- VisDrone
- Charades
- Assembly101
评估结果
在22个评估的MLLM模型中,表现最佳的是:
- 闭源模型:Gemini-2.5-Pro(总体平均准确率50.4%)
- 开源模型:GLM-4.1V-9B-Thinking(总体平均准确率35.1%)
使用方式
提供评估脚本支持使用OpenAI兼容API进行并行推理,支持vLLM、LMDeploy或SGLang等框架。
许可证
数据集视频来自公共数据集,需参考原始许可证。
联系方式
- 邮箱:chuntianli666666@gmail.com
- GitHub:https://github.com/chuntianli666/CrossVid
引用
bibtex @misc{li2025crossvid, title={CrossVid: A Comprehensive Benchmark for Evaluating Cross-Video Reasoning in Multimodal Large Language Models}, author={Jingyao Li and Jingyun Wang and Molin Tan and Haochen Wang and Cilin Yan and Likun Shi and Jiayin Cai and Xiaolong Jiang and Yao Hu}, year={2025}, eprint={2511.12263}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2511.12263}, }




