Mitzi4132/VedioLLava

MVBench数据集引入了一种新颖的静态到动态的方法来定义与时态相关的任务。通过将静态任务转换为动态任务，我们促进了需要从感知到认知的广泛时态能力的视频任务的系统生成。在任务定义的指导下，我们自动将公共视频注释转换为多项选择题以进行任务评估。这种独特的范式使得MVBench的创建在最小化人工干预的同时，通过地面真实视频注释和避免有偏见的LLM评分来确保评估的公平性。数据集包含20个时态任务示例。

The MVBench dataset introduces a novel static-to-dynamic method for defining temporal-related tasks, converting static tasks into dynamic ones to facilitate the systematic generation of video tasks requiring a wide range of temporal abilities, from perception to cognition. By transforming public video annotations into multiple-choice QA for task evaluation, this method ensures evaluation fairness, avoids biased LLM scoring, and minimizes manual intervention. The dataset includes 20 temporal task examples.

原始信息汇总

MVBench 数据集概述

数据集描述

• 数据集名称: MVBench
• 数据集来源: MVBench
• 相关论文: 2311.17005
• 联系人: kunchang li

数据集特点

• 任务类型: 静态任务转化为动态任务，生成视频任务，涉及从感知到认知的多种时间能力。
• 任务数量: 20个时间任务示例。
• 数据生成: 通过公共视频注释自动转化为多项选择题，确保评估的公平性。

数据集配置

• 配置名称: light
• 数据文件: /light_yes.xlsx
• 特征:
  • question: 问题，数据类型为字符串。
  • candidates: 候选答案，数据类型为字符串。
  • answer: 正确答案，数据类型为字符串。
  • video: 视频，数据类型为字符串。

数据集语言

• 语言: 英语 (en)

数据集规模

• 规模: 1K<n<10K

评估方法

• 预处理: 保留原始视频及其注释，解码部分原始视频可能较慢。
• 提示: 探索有效的系统提示以促进MLLM的时间推理，以及高效的答案提示以提取选项。

排行榜

• 当前状态: 在线排行榜正在建设中，当前排名如下。