Daily-Omni

该数据集是一个视听问答的基准，包含了684个日常生活场景的视频，这些视频在音视频信息上都非常丰富。数据集跨越6大主要任务，包含了1197个多项选择题型的问答对。此外，还提供了一个问答生成流程，以便进行高效的人工评估和可扩展性研究。该数据集的规模包括684个视频和1197个问答对，其任务重点在于视听问答。

This dataset is a benchmark for audio-visual question answering (AVQA). It contains 684 videos depicting daily-life scenarios, which are rich in both audio and visual information. The dataset spans six core tasks and includes 1,197 multiple-choice question-answer pairs. Additionally, a question-answer generation pipeline is provided to support efficient human evaluation and scalability research. With a scale of 684 videos and 1,197 QA pairs, this dataset focuses on audio-visual question answering tasks.

搜集汇总

背景与挑战

背景概述

Daily-Omni是一个音频-视觉跨模态推理数据集，专注于时间对齐任务，提供QA生成工具和多种模型的评估脚本，支持开源和闭源模型的性能比较。