egoEMOTION

egoEMOTION是首个在受控和真实世界场景中，将自我中心视觉和生理信号与密集的情绪和人格自我报告相结合的数据集。参与者完成情绪诱发任务和自然活动，同时使用Circumplex模型和Mikels轮报告情感状态，以及通过大五模型报告人格。数据集包含43名参与者超过50小时的记录，使用Meta的Project Aria眼镜捕获同步的眼动视频、头戴式光电容积描记、惯性运动数据和生理基线参考。egoEMOTION is the first dataset that combines egocentric vision and physiological signals with dense emotion and personality self-reports across both controlled and real-world scenarios. Participants completed emotion-evoking tasks and naturalistic activities, while reporting their affective states via the Circumplex Model and Mikels’ Affective Wheel, and their personality traits via the Big Five Model. The dataset includes over 50 hours of recordings from 43 participants, with synchronized eye-tracking video, head-mounted photoplethysmography (PPG) data, inertial motion data, and physiological baseline references captured using Meta’s Project Aria glasses.

原始信息汇总

egoEMOTION 数据集概述

数据集基本信息

• 数据集名称：egoEMOTION
• 发布机构：苏黎世联邦理工学院传感、交互与感知实验室
• 论文会议：NeurIPS 2025
• 数据规模：超过50小时的记录，43名参与者
• 数据大小：约380GB

数据采集与内容

• 采集设备：Meta Project Aria眼镜
• 数据类型：
  • 眼动追踪视频
  • 头戴式光电容积描记数据
  • 惯性运动数据
  • 生理基线参考数据
• 同步数据：所有传感器数据均经过同步

标注信息

• 情感标注：
  • 使用Circumplex模型和Mikels Wheel进行密集自我报告
  • 连续情感维度：唤醒度、效价、支配度
  • 离散情感分类
• 人格标注：基于大五人格模型

应用场景

• 控制场景：情感诱发任务
• 真实场景：自然活动场景
• 研究目的：情感和人格识别

技术特性

• 多模态融合：自我中心视觉信号与生理信号结合
• 真实世界任务：包含受控和真实世界场景

使用条款

• 使用限制：仅限非商业学术研究用途
• 访问要求：需要签署数据转让和使用协议
• 签署资格：仅限机构成员（如首席研究员或教授）

下载信息

• 下载地址：https://polybox.ethz.ch/index.php/s/LSKXPye8rGJPHMj
• 访问流程：签署DTUA后通过电子邮件获取下载链接

基准结果

连续情感识别

• 经典方法：0.75 ± 0.13（所有模态）
• DCNN方法：0.68 ± 0.07（所有模态）
• WER方法：0.60 ± 0.16（所有模态）

离散情感识别

• 经典方法：0.45 ± 0.17（所有模态）
• DCNN方法：0.22 ± 0.02（所有模态）
• WER方法：0.21 ± 0.04（所有模态）

人格特质识别

• 经典方法：0.59 ± 0.49（所有模态）
• DCNN方法：0.41 ± 0.25（所有模态）
• WER方法：0.44 ± 0.28（所有模态）

引用信息

bibtex @article{jammot2025egoemotion, title={egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks}, author={Jammot, Matthias and Braun, Bj{"o}rn and Streli, Paul and Wampfler, Rafael and Holz, Christian}, journal={arXiv preprint arXiv:2510.22129}, year={2025} }

搜集汇总

数据集介绍

构建方式

egoEMOTION数据集的构建采用了多模态数据采集策略，通过Meta Project Aria智能眼镜同步记录43名参与者在受控任务与自然活动中的眼动视频、头部光电容积描记信号、惯性运动数据及生理基线参考值。实验设计融合了情绪诱发任务与真实场景交互，参与者基于环状情绪模型和Mikels情绪轮进行密集自我情绪报告，同时通过大五人格模型评估人格特质，最终形成超过50小时的高质量多模态数据资源。

特点

该数据集作为首个融合自我中心视觉与生理信号的情绪人格识别资源，其核心特点在于实现了跨场景的多模态同步数据耦合。数据涵盖眼动轨迹、心率变异性、微表情、瞳孔变化等十余种生理行为指标，并首次在自我中心视角下关联了连续维度情感状态与离散情绪标签。其380GB规模数据均经过严格的时间对齐处理，为探索真实环境下情绪与人格的动态交互提供了前所未有的粒度与生态效度。

使用方法

研究者可通过签署数据转移使用协议获取数据集后，利用代码库中的AffectivePredictor类灵活配置实验范式。系统支持信号处理与深度学习双路径分析：前者提供六种特征选择方法与七种分类器组合，后者包含经典CNN与Transformer架构。用户可自由选择输入模态组合（如ECG、瞳孔反应、Fisherfaces等），通过修改main.py中的配置参数实现连续情感维度、离散情绪或人格特质的预测任务，预计算特征加载机制显著提升了实验迭代效率。

背景与挑战

背景概述

情感计算作为人机交互领域的前沿方向，长期致力于通过多模态数据解析人类内在心理状态。2025年由苏黎世联邦理工学院感知交互实验室发布的egoEMOTION数据集，首次将自我中心视觉与生理信号相结合，覆盖43名参与者在受控环境与真实场景下的50小时同步数据。该数据集创新性地整合了眼动视频、光电容积描记、惯性测量单元等多源传感信息，并引入环状情感模型与五因素人格理论的密集自我报告，为跨情境情感与人格计算研究建立了新范式。

当前挑战

情感识别领域长期面临环境动态性与个体差异性的双重挑战，传统实验室环境难以捕捉真实场景下的细微情感波动。egoEMOTION在构建过程中需攻克多模态数据同步的技术壁垒，包括头戴设备运动伪影的消除、不同采样率传感器的时序对齐等难题。此外，隐私保护与伦理规范要求对连续第一视角视频进行严格脱敏处理，而380GB大规模数据的标注一致性保障亦成为数据集质量控制的重点。

常用场景

经典使用场景

在情感计算与人机交互研究中，egoEMOTION数据集通过融合第一视角视觉信号与多模态生理数据，为连续情感状态识别提供了理想实验平台。研究者可基于环形情绪模型与Mikels情绪轮框架，利用眼动视频、光电容积脉搏波等同步数据流，分析受试者在受控任务与自然活动中的情绪波动规律。该数据集支持经典机器学习与深度学习模型的对比验证，尤其在跨场景情绪迁移学习方面展现出独特价值。

衍生相关工作

基于该数据集衍生的脉冲波形估计技术催生了egoPPG创新研究，通过眼动视频重建心脏活动信号的方法在EgoExo4D数据集上实现14%的效能提升。相关研究还推动了多模态融合架构的发展，如结合传统CNN与Transformer的混合模型在跨设备情感识别任务中取得显著进展，为可穿戴计算领域提供了新的技术范式。

数据集最近研究

最新研究方向

在情感计算与人机交互领域，egoEMOTION数据集通过融合第一视角视觉信号与多模态生理数据，开创性地构建了真实场景下的情感与人格识别研究框架。当前前沿探索聚焦于多源异构数据的协同建模，利用Transformer架构与经典卷积网络对比分析连续情感维度、离散情绪状态及大五人格特质。该数据集推动了可穿戴设备在心理健康监测、沉浸式交互系统中的应用，其跨模态基准性能验证了头戴式设备在自然情境下捕捉微妙生理反应的潜力，为构建自适应人工智能系统提供了关键数据支撑。