LongVideoBench

该数据集主要强调在扩展视频背景下的推理任务，它专注于研究长时间视频内容中的理解与推理任务。具体来说，该数据集的任务是长形式视频理解。

This dataset primarily emphasizes reasoning tasks in the context of extended videos, focusing on investigating comprehension and reasoning tasks within long-duration video content. Specifically, the core task of this dataset is long-form video understanding.

搜集汇总

数据集介绍

构建方式

LongVideoBench的构建始于从119个网络频道收集分辨率不低于720P的视频，涵盖电影、新闻、生活与知识等十大主题类别，并按照四个渐进时长分组（8-15秒、15-60秒、3-10分钟、15-60分钟）进行采样。对于平台未提供字幕的视频，采用Whisper-V3-Large模型自动生成英文转录，以确保所有视频均配有时间对齐的字幕。随后，通过Q-Align评分与人工筛选剔除低质量内容，最终保留3,763个视频。在标注环节，经过专门培训的标注员观看完整视频后，为每个视频撰写1-3个基于“指涉推理”任务的多选题，每个问题包含一个指涉查询和3-4个干扰选项。标注流程采用三级审核机制（主标注员、检查员、修订员），确保问题质量与类别准确性，最终获得6,678个高质量问答对。

特点

该数据集的核心特色在于其创新的“指涉推理”任务范式，旨在克服传统视频基准中存在的单帧偏差问题。每个问题都包含一个指涉查询，要求模型从长达一小时的视频中精准定位并推理相关的多模态上下文。数据集分为感知与关系两个层次，覆盖17个细粒度类别，如场景指涉事件、物体追踪和属性变化等，全面评估模型的视觉感知与时间关系推理能力。此外，视频与字幕以交错多模态格式输入，模拟人类观看视频的真实方式。实验证明，模型性能随输入帧数增加而显著提升，这与以往基准形成鲜明对比，凸显了该数据集在评估长上下文多模态理解方面的独特价值。

使用方法

使用LongVideoBench时，需将视频帧与时间对齐的字幕片段按照时间戳交错排列，构建成多模态输入序列。模型需接收这一序列，并针对给定的多项选择题输出选项字母（如A、B、C、D、E）。数据集划分为验证集（752个视频，1,337个问题）和测试集（3,011个视频，5,341个问题），其中测试集答案隐藏以防止过拟合。评估时，建议针对不同时长组调整最大输入帧数，例如对长视频使用256帧以充分测试长上下文能力。推荐采用零样本设置，并参考论文中提供的预处理函数（如Idefics2或Phi-3的格式）将帧与文本转换为模型可接受的输入格式，从而在不同大语言多模态模型间进行公平比较。

背景与挑战

背景概述

随着大规模多模态模型（LMMs）处理长上下文输入能力的飞速发展，如何有效评估其在长时间视频理解上的表现成为亟待解决的核心问题。现有视频基准测试普遍存在单帧偏置现象，即模型性能并不随可处理帧数的增加而提升，这严重制约了对长上下文多模态能力的客观度量。为此，由Haoning Wu、Dongxu Li、Bei Chen和Junnan Li于2024年提出的LongVideoBench应运而生，该基准测试包含3,763个时长从数秒至一小时的网络视频及6,678个人工标注的多选题，覆盖电影、新闻、生活与知识等多元主题，通过创新的“引用推理”任务范式，要求模型在长视频中精准定位并推理细粒度视觉细节，从而系统性地评估LMMs在长上下文多模态理解领域的真实水平。

当前挑战

LongVideoBench所面临的挑战主要体现在两个维度。在领域问题层面，其核心挑战在于克服传统视频基准的“单帧偏置”，即模型必须通过处理更多视频帧才能提升性能，这要求LMMs具备从长达一小时的多模态输入中精准检索并推理细粒度信息的能力，而非仅依赖全局摘要。在构建过程中，挑战则源自数据收集与标注的复杂性：需从119个频道收集高分辨率视频，并利用Whisper-V3-Large为无字幕视频生成对齐字幕，确保多模态输入的完整性；此外，标注团队需经过专业培训，针对17个细粒度类别（如场景引用对象、事件前后关系等）设计问题，并通过三级审核（标注员、检查员、修订员）剔除约20%的低质量标注，最终确保每个问题均包含明确的引用查询和均匀覆盖视频时长的参考上下文，这一过程对人力与质量控制提出了极高要求。

常用场景

经典使用场景

在长视频理解领域，LongVideoBench作为一项标杆性基准，被广泛用于评估大型多模态模型（LMMs）在处理长达一小时、图文交错输入时的综合能力。其核心任务——指代推理（referring reasoning），要求模型精准定位视频中由自然语言描述的场景、事件或物体，并基于此进行细粒度感知或跨时间关系的推理。该基准覆盖电影、新闻、生活与知识等多元主题，包含3763个视频与6678道人工标注的多选题，为衡量模型在长上下文多模态理解中的表现提供了标准化的测试框架。

衍生相关工作

围绕LongVideoBench，研究社区已涌现出一系列衍生工作。在模型层面，PLLaVA、LLaVA-Next-Video等视频专用LMMs通过扩展语言模型规模与优化帧采样策略，在基准上取得了显著提升。在方法层面，研究者借鉴指代推理范式，提出了面向长视频的时序关系推理与多模态融合新架构。此外，该基准还催生了针对长上下文理解的诊断性分析工作，如探讨模型性能与指代查询深度的关联，揭示了模型在处理视频开头与中间片段时的系统性偏差，为未来模型设计提供了关键指导方向。

数据集最近研究

最新研究方向

当前，长上下文多模态理解成为大语言模型发展的前沿焦点，LongVideoBench应运而生，旨在填补该领域缺乏高质量评估基准的空白。该数据集聚焦于长达一小时的视频与字幕交织输入，创新性地提出“指代推理”任务，要求模型精准定位并推理视频中的细粒度多模态信息，从而有效克服了传统视频基准中普遍存在的单帧偏差问题。研究结果表明，即便是最先进的闭源模型如GPT-4o和Gemini-1.5-Pro也面临显著挑战，而开源模型则表现更弱，凸显了长视频理解中模型对更多帧数处理的依赖性。这一基准的建立不仅为评估下一代长上下文多模态模型提供了关键标尺，也揭示了现有模型在时序动态推理与多模态信息整合上的核心瓶颈，为未来研究指明了方向。

相关研究论文

• LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding

  未提及 · 2024年