extrapolation_bench

该数据集是一个多模态视频理解基准，包含视频和文本两种模态，主要用于视觉问答和视频分类任务。数据集采用MIT许可协议，但要求使用者不得进行对人类受试者有害的实验，并注意视频版权属于原始创作者或平台（仅限学术研究使用）。数据集包含7个子集共28种配置：SSV2（1种配置）、KTH（1种配置）、TempCompass（方向与速度各4种配置）、TOMATO（计数、方向、旋转、形状趋势、速度频率等15种配置）、VLM4D（2种配置）、MVBench（4种配置）以及合成测试集（8种配置）。任务类型涵盖字幕匹配、多项选择题、是非题、反事实推理等多种视频理解形式，特别关注物体运动方向、速度、轨迹等时空关系分析。数据集规模在1,000到10,000个样本之间，所有内容均为英文。

This dataset is a multimodal video understanding benchmark encompassing two modalities: video and text, primarily designed for visual question answering and video classification tasks. The dataset is released under the MIT License, but users are prohibited from conducting experiments harmful to human participants. Additionally, the copyright of the videos belongs to their original creators or platforms, and the dataset is only permitted for academic research use. The dataset consists of 7 subsets totaling 28 configurations: SSV2 (1 configuration), KTH (1 configuration), TempCompass (4 configurations for direction and 4 for velocity respectively), TOMATO (15 configurations covering counting, direction, rotation, shape trend, velocity frequency, etc.), VLM4D (2 configurations), MVBench (4 configurations), and the synthetic test set (8 configurations). Task types cover various video understanding formats including caption matching, multiple-choice questions, true/false questions, counterfactual reasoning, etc., with a special focus on the analysis of spatiotemporal relationships such as object movement direction, velocity, and trajectory. The dataset has a scale ranging from 1,000 to 10,000 samples, and all content is in English.

原始信息汇总

数据集概述

基本信息

• 数据集名称: extrapolation_bench
• 托管地址: https://huggingface.co/datasets/takhyun03/extrapolation_bench
• 许可证: MIT
• 主要语言: 英语 (en)
• 数据规模: 1K<n<10K
• 模态: 视频 (Video)、文本 (Text)

使用条款与许可

• 使用者同意不将数据集用于对人类受试者造成伤害的实验。
• 数据可能受其他协议约束，使用前需仔细阅读相关协议以确保合规使用。
• 视频版权归原始视频创作者或平台所有，仅限学术研究使用。

任务类别

• 视觉问答 (visual-question-answering)
• 视频分类 (video-classification)

数据集配置

数据集包含多个子集（配置），每个配置对应一个特定的评估任务或基准，所有配置仅包含验证集（split: val）。

SSV2

• 配置名称: ssv2_VP_default
• 数据文件路径: ssv2/lr_mcq/ssv2_VP_default.json

KTH

• 配置名称: kth_VP_default
• 数据文件路径: kth/lr_mcq/KTH_VP_default.json

TempCompass - direction

• 配置名称: TempCompass_direction_caption_matching
  • 数据文件路径: TempCompass/direction/caption_matching.json
• 配置名称: TempCompass_direction_captioning
  • 数据文件路径: TempCompass/direction/captioning.json
• 配置名称: TempCompass_direction_multi-choice
  • 数据文件路径: TempCompass/direction/multi-choice.json
• 配置名称: TempCompass_direction_yes_no
  • 数据文件路径: TempCompass/direction/yes_no.json

TempCompass - speed

• 配置名称: TempCompass_speed_caption_matching
  • 数据文件路径: TempCompass/speed/caption_matching.json
• 配置名称: TempCompass_speed_captioning
  • 数据文件路径: TempCompass/speed/captioning.json
• 配置名称: TempCompass_speed_multi-choice
  • 数据文件路径: TempCompass/speed/multi-choice.json
• 配置名称: TempCompass_speed_yes_no
  • 数据文件路径: TempCompass/speed/yes_no.json

TOMATO - count

• 配置名称: TOMATO_count_human
  • 数据文件路径: TOMATO/count/human.json
• 配置名称: TOMATO_count_object
  • 数据文件路径: TOMATO/count/object.json
• 配置名称: TOMATO_count_simulated
  • 数据文件路径: TOMATO/count/simulated.json

TOMATO - direction

• 配置名称: TOMATO_direction_human
  • 数据文件路径: TOMATO/direction/human.json
• 配置名称: TOMATO_direction_object
  • 数据文件路径: TOMATO/direction/object.json
• 配置名称: TOMATO_direction_simulated
  • 数据文件路径: TOMATO/direction/simulated.json

TOMATO - rotation

• 配置名称: TOMATO_rotation_human
  • 数据文件路径: TOMATO/rotation/human.json
• 配置名称: TOMATO_rotation_object
  • 数据文件路径: TOMATO/rotation/object.json
• 配置名称: TOMATO_rotation_simulated
  • 数据文件路径: TOMATO/rotation/simulated.json

TOMATO - shape_trend

• 配置名称: TOMATO_shape_trend_human
  • 数据文件路径: TOMATO/shape_trend/human.json
• 配置名称: TOMATO_shape_trend_simulated
  • 数据文件路径: TOMATO/shape_trend/simulated.json

TOMATO - velocity_frequency

• 配置名称: TOMATO_velocity_frequency_human
  • 数据文件路径: TOMATO/velocity_frequency/human.json
• 配置名称: TOMATO_velocity_frequency_object
  • 数据文件路径: TOMATO/velocity_frequency/object.json
• 配置名称: TOMATO_velocity_frequency_simulated
  • 数据文件路径: TOMATO/velocity_frequency/simulated.json

VLM4D

• 配置名称: VLM4D_real_mc
  • 数据文件路径: VLM4D/real_mc.json
• 配置名称: VLM4D_synthetic_mc
  • 数据文件路径: VLM4D/synthetic_mc.json

MVBench

• 配置名称: mvbench_moving_attribute
  • 数据文件路径: mvbench/moving_attribute.json
• 配置名称: mvbench_moving_direction
  • 数据文件路径: mvbench/moving_direction.json
• 配置名称: mvbench_object_shuffle
  • 数据文件路径: mvbench/object_shuffle.json
• 配置名称: mvbench_counterfactual_inference
  • 数据文件路径: mvbench/counterfactual_inference.json

Synthetic testbed

• 配置名称: synthetic_counterfactual_direction
  • 数据文件路径: synthetic_testbed/counterfactual_direction.json
• 配置名称: synthetic_multi_object_relationship
  • 数据文件路径: synthetic_testbed/multi_object_relationship.json
• 配置名称: synthetic_multi_obj_direction
  • 数据文件路径: synthetic_testbed/multi_obj_direction.json
• 配置名称: static_identification
  • 数据文件路径: synthetic_testbed/static_identification.json
• 配置名称: mover_direction
  • 数据文件路径: synthetic_testbed/mover_direction.json
• 配置名称: parallel_recog
  • 数据文件路径: synthetic_testbed/parallel_recog.json
• 配置名称: synthetic_trajectory_extrapolation
  • 数据文件路径: synthetic_testbed/trajectory_extrapolation.json
• 配置名称: synthetic_trajectory_extrapolation_w_direction
  • 数据文件路径: synthetic_testbed/trajectory_extrapolation_with_direction.json
• 配置名称: 2obj_direction
  • 数据文件路径: synthetic_testbed/2obj_direction.json
• 配置名称: single_obj_direction
  • 数据文件路径: synthetic_testbed/single_obj_direction.json