CausalVQA
收藏资源简介：
CausalVQA是一个视频问答（VQA）基准数据集，由探索模型对物理世界中因果关系的理解的问答对组成。该数据集填补了现有VQA基准的空白，通过提出基于现实世界场景的挑战性问题，同时关注模型预测不同动作和事件的可能结果的能力。数据集包含五种问题类型：反事实、假设、预期、规划和描述。我们设计了质量控制机制，防止模型利用简单的捷径，要求模型基于对视频内容的深度视觉理解来回答问题。我们发现，当前前沿的多模态模型在基准测试中的表现远低于人类，特别是在预期和假设问题上。这突出了当前系统在利用空间-时间推理、理解物理原理以及理解可能的替代方案以在现实世界环境中做出准确预测方面的挑战。
CausalVQA is a video question answering (VQA) benchmark dataset consisting of question-answer pairs designed to explore models' understanding of causal relationships in the physical world. This dataset fills the gap of existing VQA benchmarks by presenting challenging questions rooted in real-world scenarios, with a focus on evaluating models' capability to predict possible outcomes of diverse actions and events. The dataset includes five question categories: counterfactual, hypothetical, anticipatory, planning, and descriptive. We have developed a quality control mechanism to prevent models from exploiting simple shortcuts, mandating that answers be derived from in-depth visual comprehension of the video content. We observed that current state-of-the-art multimodal models achieve significantly lower performance than humans on this benchmark, particularly on anticipatory and hypothetical questions. This underscores the challenges facing contemporary systems in leveraging spatio-temporal reasoning, grasping physical principles, and understanding potential alternatives to generate accurate predictions within real-world environments.
CausalVQA 数据集概述
数据集简介
- 名称：CausalVQA
- 类型：视频问答（VQA）基准数据集
- 目的：评估模型在物理世界中的因果推理能力
- 特点：
- 基于真实世界场景
- 包含五种问题类型：反事实、假设性、预期性、规划性和描述性
- 设计质量控制机制，防止模型利用简单捷径
数据集构成
- 问题类型：
- 反事实（counterfactual）
- 假设性（hypothetical）
- 预期性（anticipation）
- 规划性（planning）
- 描述性（descriptive）
- 难度等级：基于273名非专家标注者的人类试验结果
数据获取与使用
- 许可：EgoExo License，需通过Ego-Exo4D项目申请
- 下载方式：
- 使用AWS S3 CLI工具下载
- 下载命令：
aws s3 cp s3://ego4d-consortium-sharing/egoexo-public/v2/causal_vqa/CausalVQA.zip <your location>\CausalVQA.zip
- 目录结构： text CausalVQA/ ├── lmms-eval/ ├── models/ ├── scripts/ ├── tasks/ ├── data/ └── debug/ └── test/
评估与运行
- 环境设置：
- 使用提供的makefile进行环境设置和依赖安装
- 主要命令：
make setup_env,make setup_vllm,make setup_lmms_eval,make setup_plm,make setup_cleanup,make prep_debug_data
- 评估运行：
- 支持多种模型评估，如InternVL2、LLaVA、Qwen2等
- 主要命令：
make run_internvl2_5,make run_llava_onevision,make run_qwen2_5vl_vllm,make run_plm,make run_gemini_oai,make run_gpt4o
数据标注
- 标注文件内容：
- qid：问题标识符
- type：问题类型
- question：问题文本
- choices1：多项选择
- correct1：choices1的目标答案（测试集中移除）
- choices2：扰动和重新排序的多项选择
- correct2：choices2的目标答案（测试集中移除）
- difficulty：基于人类基准的难度等级
- renamed_video：视频文件名
相关资源
- 论文：CausalVQA: A Physically Grounded Causal Reasoning Benchmark for Video Models
- 博客：V-JEPA 2 World Model Benchmarks
- 排行榜：CausalVQA Leaderboard
- 相关基准：IntPhys2, MVPBench
引用
bibtex @misc{causalvqa, title={CausalVQA: A Physically Grounded Causal Reasoning Benchmark for Video Models}, author={Aaron Foss and Chloe Evans and Sasha Mitts and Koustuv Sinha and Ammar Rizvi and Justine T Kao}, year={2025}, eprint={}, archivePrefix={arXiv}, primaryClass={cs.CL} }
