rohit901/VANE-Bench

VANE-Bench是一个精心策划的基准数据集，旨在评估大型多模态模型（LMMs）在视频异常检测和理解任务中的性能。数据集包含多样化的视频片段，分为AI生成和现实世界异常，每帧信息和相关问答对有助于全面评估模型能力。数据集的主要特征包括类别（AI生成、现实世界）、子类别（如Avenue、UCFCrime等）、AI生成异常类别（如不自然的变换、不自然的外观等）和现实世界异常类别（如逮捕、袭击等）。每个视频片段包含帧级数据和详细的问答对，挑战对话式LMMs在不同背景下理解和响应视频异常。

原始信息汇总

VANE-Bench 数据集概述

数据集信息

• 许可证: CC-BY-NC-SA-4.0
• 特征:
  • frame_0 至 frame_9: 图像数据类型
  • category: 字符串类型
  • sub_category: 字符串类型
  • video_folder: 字符串类型
  • question: 字符串类型
  • answer: 字符串类型
• 分割:
  • train: 746196621 字节, 559 个样本
• 下载大小: 367938984 字节
• 数据集大小: 746196621 字节
• 配置:
  • default: 训练数据路径为 data/train-*
• 任务类别:
  • 问答
  • 视觉问答
• 语言: 英语
• 数据集名称: VANE-Bench
• 数据集规模: n<1K

数据集概述

• 名称: VANE-Bench
• 目的: 评估大型多模态模型在视频异常检测和理解任务上的性能
• 类别:
  • AI-Generated
  • Real-World
• 子类别:
  • Avenue, UCFCrime, UCSD-Ped1, UCSD-Ped2, ModelScopeT2V, SORA, OpenSORA, Runway Gen2, VideoLCM
• AI-Generated 异常类别:
  • 不自然的变换
  • 不自然的外观
  • 穿透
  • 消失
  • 突然出现
• Real-World 异常类别:
  • 逮捕, 攻击, 盗窃, 投掷等
• 数据: 每个视频片段包含帧级数据和详细的问答对，以挑战对话式大型多模态模型在理解和响应视频异常方面的能力

使用数据集

• HuggingFace: python from datasets import load_dataset dataset = load_dataset("rohit901/VANE-Bench")

• Zip 文件:

  • 下载链接: VQA_Data.zip

  • 文件结构:

    VQA_Data/ |–– Real World/ | |–– UCFCrime | | |–– Arrest002 | | |–– Arrest002_qa.txt | | |–– ... # 剩余视频-问答对 | |–– UCSD-Ped1 | | |–– Test_004 | | |–– Test_004_qa.txt | | |–– ... # 剩余视频-问答对 ... # 剩余真实世界异常数据集文件夹 |–– AI-Generated/ | |–– SORA | | |–– video_1_subset_2 | | |–– video_1_subset_2_qa.txt | | |–– ... # 剩余视频-问答对 | |–– opensora | | |–– 1 | | |–– 1_qa.txt | | |–– ... # 剩余视频-问答对 ... # 剩余AI生成异常数据集文件夹