PerceptionComp

PerceptionComp 是一个专注于复杂感知中心视频推理的基准数据集。该数据集包含 1,114 个手动标注的五选一选择题，涉及 273 个视频，涵盖户外旅游、购物、运动、综艺节目、家庭旅游、游戏和电影等七个类别。每个问题都与一个视频 ID、一个多选题、五个答案选项、一个正确答案、一个语义类别和一个难度标签相关联。数据集旨在评估视频语言模型在复杂感知推理任务上的表现，特别是那些需要模型结合时间上分离的多个感知线索的问题。数据集的结构包括视频文件和标注文件，标注文件包含问题标识符、视频 ID、问题文本、答案选项、正确答案索引、正确答案文本、语义类别和难度标签等核心字段。用户需从 Hugging Face 数据集下载视频，并使用官方 GitHub 仓库中的评估代码进行评测。数据集适用于研究评估，不适用于监控、身份推断或敏感属性预测。