IV-Bench

IV-Bench是由字节跳动公司推出的一款针对多模态大型语言模型（MLLMs）在图像引导的视频感知和推理任务上的评估基准。该数据集包含967个视频，每个视频配对2,585个经过精心注释的图像-文本查询，跨越13个不同的任务（7个感知任务和6个推理任务），涵盖五个代表性类别。这些图像来自外部资源，非视频本身，确保了数据集的泛化能力和鲁棒性。

IV-Bench is an evaluation benchmark launched by ByteDance for multimodal large language models (MLLMs) on image-guided video perception and reasoning tasks. This dataset consists of 967 videos, each paired with 2,585 meticulously annotated image-text queries, spanning 13 distinct tasks (7 perception tasks and 6 reasoning tasks) across five representative categories. These images are sourced from external resources rather than the videos themselves, which ensures the generalization capability and robustness of the dataset.

搜集汇总

数据集介绍

构建方式

IV-Bench的构建过程体现了严谨的科学方法论。研究团队首先从五个代表性类别（知识、影视、体育竞赛、艺术表演、生活记录）中精选了967段时长超过5分钟的视频，确保内容多样性。随后采用两阶段标注流程：标注人员先完整观看视频，从13个预定义任务类型中选择最合适的类别，然后从外部来源（非视频本身）精心挑选相关图像，并设计包含图像-文本查询的问题。每个问题配有1个正确答案和多达9个干扰项，这些干扰项经过特殊设计，即使对于相同文本查询但不同图像的情况也能成为正确答案，从而确保图像的必要性。最后通过两轮质量控制（首轮验证问题清晰度和答案准确性，次轮确保必须结合图像和视频才能解答）来保证数据质量。

特点

IV-Bench作为首个专注于图像引导视频感知与推理的基准测试，具有三大核心特征。其多模态特性体现在每个查询都包含外部来源的图像（非视频截图）、视频内容和文本问题，强制模型进行跨模态关联。数据集的复杂性通过13个任务（7个感知任务和6个推理任务）体现，涵盖从基础的对象存在性检测到复杂的时空推理等不同认知层次。特别值得注意的是其严格的必要性设计：通过两轮质量控制和特殊干扰项构建，确保每个问题必须同时利用图像和视频信息才能正确解答，有效防止模型通过单一模态或常识进行猜测。

使用方法

使用IV-Bench进行模型评估时需遵循特定协议。评估输入采用'视频帧+图像+问题'的标准格式，其中视频帧通过均匀采样处理（默认32帧）。研究提供了两种推理提示模板（视频优先或图像优先）以适应不同模型架构。对于多项选择题，答案选项需随机排序以避免位置偏差。性能评估采用准确率指标（随机基线为10%），通过直接匹配模型输出与正确答案进行计算。为深入分析，建议进行消融实验（如调整帧数、分辨率）和跨模式比较（如纯文本查询与多模态查询的对比）。数据集还支持通过合成数据方法（从现有视频QA数据集转换样本）来研究数据格式对齐对性能的影响。

背景与挑战

背景概述

IV-Bench是由字节跳动公司（ByteDance Inc.）的研究团队于2025年提出的首个专注于评估多模态大语言模型（MLLMs）在图像引导视频感知与推理任务中性能的综合性基准测试。该数据集包含967个视频和2585个经过精细标注的图像-文本查询，覆盖13项任务（7项感知任务和6项推理任务）及5个代表性类别（如知识、影视、体育竞赛等）。IV-Bench的创建填补了现有评估框架在图像上下文视频理解方面的空白，为多模态模型在复杂场景下的能力评估提供了重要工具。其创新性在于要求模型必须结合外部图像、视频内容和文本查询进行联合推理，推动了视频理解领域从单一模态向多模态协同分析的范式转变。

当前挑战

IV-Bench面临的核心挑战体现在两个维度：1) 领域问题挑战：现有MLLMs在图像引导视频推理任务中表现显著不足（最高准确率仅28.9%），尤其在时空推理等复杂任务上暴露出模型对跨模态时序关联的理解缺陷；2) 构建过程挑战：需确保图像必要性（外部图像非视频帧提取）、设计有效干扰项（每个问题包含9个视觉 plausible 的干扰选项），并通过两轮质量控制（验证问题可解性、消除信息泄露）维持数据严谨性。实验表明，仅增加训练数据规模或调整输入格式（如帧数/分辨率）无法根本解决性能瓶颈，凸显了开发新型跨模态推理架构的迫切性。

常用场景

经典使用场景

在多媒体大语言模型（MLLMs）的研究中，IV-Bench数据集被广泛应用于评估模型在图像引导的视频感知与推理任务中的表现。该数据集通过精心设计的图像-文本查询对，覆盖了13种不同的任务类型，包括7种感知任务和6种推理任务，为研究者提供了一个全面评估模型能力的平台。IV-Bench的经典使用场景包括模型在复杂视频理解任务中的性能测试，特别是在需要结合静态图像上下文进行视频内容理解的场景中。

衍生相关工作

IV-Bench数据集衍生了一系列相关研究工作，特别是在多模态大语言模型的视频理解能力评估方面。例如，基于该数据集的实验结果，研究者们提出了改进模型推理能力的多种方法，包括增加视频帧数、提高分辨率以及优化推理模式。此外，IV-Bench还激发了关于如何更好地结合图像和视频信息进行模型训练的研究，为未来多模态模型的发展提供了重要参考。

数据集最近研究

最新研究方向

随着多模态大语言模型（MLLMs）在视频理解领域的快速发展，IV-Bench作为首个专注于图像引导视频感知与推理的基准测试，为研究社区提供了全新的评估维度。该数据集通过精心设计的13项任务（7项感知任务与6项推理任务）和跨5大领域的多样化视频-图像-文本三元组样本，揭示了当前模型在融合静态图像上下文进行动态视频分析时的显著能力缺陷——最优模型准确率不足28.9%。前沿研究聚焦于三个关键方向：首先，探索时序建模与空间推理的协同机制，特别是在处理复杂时空计算任务时，模型对图像关键帧与视频动态内容的关联理解存在明显断层；其次，针对数据合成方法的创新，现有研究表明仅通过格式对齐的合成数据难以提升性能，这推动了对跨模态表征对齐本质的深度研究；最后，模型架构优化方面，大规模参数模型虽在感知任务中表现提升显著（如Qwen2.5-VL-72B在存在性检测任务达64.7%），但推理任务仍停滞于21.9%水平，凸显了开发专用视频推理模块的迫切性。该数据集的出现直接呼应了自动驾驶、智能监控等现实场景中对跨模态细粒度推理的需求，为下一代视频理解模型的研发提供了重要参照系。

相关研究论文

• IV-Bench: A Benchmark for Image-Grounded Video Perception and Reasoning in Multimodal LLMs

  字节跳动 · 2025年