RUCAIBox/Event-Bench

Event-Bench是一个面向事件的长视频理解基准，基于现有数据集和人工注释构建。该数据集包含三个事件理解能力和六个事件相关任务，共有2,190个测试实例，用于全面评估视频事件理解能力。数据集主要用于学术研究，禁止任何形式的商业使用。

原始信息汇总

Event-Bench 数据集概述

概述

• 名称: Event-Bench
• 类型: 事件导向的长视频理解基准
• 任务类别: 视觉问答 (Visual Question Answering)
• 语言: 英语 (en)
• 数据规模: 1K<n<10K
• 许可证: MIT

数据集详情

• 事件理解能力: 包含三种事件理解能力
• 任务: 包含六种与事件相关的任务
• 测试实例数量: 2,190
• 用途: 仅用于学术研究，禁止任何形式的商业使用

数据获取

• 下载链接: Google Drive 链接

评估与结果

• 评估管道: 参考 GitHub 仓库
• 实验结果: 包含不同视频多模态大语言模型 (MLLMs) 的评估结果

搜集汇总

背景与挑战

背景概述

Event-Bench是一个事件导向的长视频理解基准测试数据集，包含2,190个测试实例，涵盖6种事件相关任务类型。该数据集基于现有视频数据集和人工标注构建，主要用于评估视频多模态大语言模型在事件理解方面的能力，特别关注长视频中的事件推理、上下文理解和反直觉推理等复杂任务。