EASG-Bench
收藏资源简介：
EASG-Bench是一个基于自我中心视频问答的基准数据集，包含1807个问答对，涵盖了五个类别。该数据集利用自我中心动作场景图（EASG）的注释，生成了时空定位的问答对，支持基于对象边界框的问答和语言中性评估。数据集的创建过程包括生成问答对、过滤重复和通用问答对。EASG-Bench旨在解决视频理解和问答任务中的时空推理问题。
EASG-Bench is a benchmark dataset for egocentric video question answering, consisting of 1,807 question-answer pairs across five categories. This dataset leverages annotations from the Egocentric Action Scene Graph (EASG) to generate spatiotemporally grounded question-answer pairs, supporting object bounding box-based question answering and language-neutral evaluation. The dataset creation process includes generating question-answer pairs, as well as filtering out duplicate and generic ones. EASG-Bench is designed to address spatiotemporal reasoning challenges in video understanding and question answering tasks.
EASG-Bench数据集概述
数据集基本信息
- 名称: EASG-Bench
- 类型: 视频问答基准数据集
- 领域: 第一人称视角（egocentric）视频理解
- 主要贡献者: Ivan Rodin, Tz-Ying Wu, Kyle Min等（来自University of Catania和Intel Labs）
- 论文链接: https://arxiv.org/pdf/2506.05787
数据集特点
- 数据内容: 包含基于时空动态场景图的问答对，捕捉演员、动作和对象之间的复杂关系
- 研究重点: 长期上下文视频理解，特别关注时间顺序问题
- 评估对象: 语言模型和视频大语言模型（video-LLMs）
数据集构建
- 构建方法: 提供
generate_QA.ipynb脚本用于创建基准 - 数据来源: 使用Ego4D注释中的时间戳叙述
- 预处理数据: 提供
clilp_narrations.json文件
评估框架
- 评估机制: 采用LLM-as-a-Judge机制
- 主要评估脚本:
eval_llama_review.py - 评估所需文件:
- 上下文信息:
clilp_narrations.json - 评估规则:
rule.txt - 问答对: JSON格式输入文件
- 输出结果: JSON格式输出文件
- 分数缩放因子:
scale.json
- 上下文信息:
- 运行方式: 通过
eval_llama.sh脚本执行评估
引用格式
bibtex @article{rodin2025easg, title={EASG-Bench: Video Q&A Benchmark with Egocentric Action Scene Graphs}, author={Rodin, Ivan and Wu, Tz-Ying and Min, Kyle and Sridhar, Sharath Nittur and Furnari, Antonino and Tripathi, Subarna and Farinella, Giovanni Maria}, journal={arXiv preprint}, year={2025}, }
