多模态感知与认知数据集

该数据集包含感知子数据集SPA-ADV-V1.5和认知子数据集Video-SME-1两部分。数据集以498个中文广告视频（时长15–30秒）为刺激材料，招募4,600余名20–55岁受众，使用眼动仪（30 Hz）和脑电设备（Muse 2代EEG头戴设备，配备四通道脑电电极）在线下实验室环境中同步采集注视轨迹与脑电信号。SPA-ADV-V1.5提供经DBSCAN聚类预处理的个性化注视点坐标，支持通用与受众分组两种评测协议，训练集含6,265/31,790个场景，测试集含1,582/8,319个场景。Video-SME-1基于脑电信号构建认知投入（Engagement, EN）、情绪（Emotion, EM）和眼动比率（Eye Movement Ratio, EMR）三项主观认知指标，并结合GPT-4V生成经人工校验的客观问答对，共计178,547个问答对。数据集总量约10GB，采集于2022–2025年间中国北京、上海、成都等地，可用于个性化视觉注意力预测、多模态情感计算、广告效果评估及多模态大语言模型评测等研究方向。