ForDigitStress

ForDigitStress数据集是由奥格斯堡大学人本中心AI实验室创建，专注于通过数字工作面试场景诱发压力的多模态数据集。该数据集包含40名参与者的音频、视频（动作捕捉、面部识别、眼动追踪）以及生理信息（光电容积脉搏波、皮肤电活动）。此外，数据集还包含时间连续的压力和情绪（如羞耻、愤怒、焦虑、惊讶）标注。数据集旨在解决工作相关压力情境的理解问题，特别是在远程工作面试中自然诱发的压力。

The ForDigitStress dataset was created by the AI Lab at the Human Factors Center, University of Augsburg. It is a multimodal dataset dedicated to inducing stress in digital job interview scenarios. The dataset encompasses audio, video data (including motion capture, facial recognition, and eye-tracking), and physiological measurements (photoplethysmography and skin conductance) from 40 participants. Furthermore, it includes temporally continuous annotations for stress and emotions such as shame, anger, anxiety, and surprise. The dataset is intended to facilitate the understanding of work-related stress, particularly stress naturally elicited during remote job interviews.

搜集汇总

数据集介绍

构建方式

在数字健康与情感计算领域，ForDigitStress数据集通过模拟远程求职面试场景构建，以自然诱发参与者压力。研究团队招募了40名健康参与者，在实验室环境中进行结构化面试，同时采集多模态数据。数据收集涵盖音频、视频（包括运动捕捉、面部识别与眼动追踪）以及生理信号（如光电容积描记与皮肤电活动）。所有信号通过社会信号解释框架实现同步，确保了时间对齐的精确性。此外，唾液皮质醇水平的测量验证了压力诱导的生物学效应，为数据有效性提供了生理学依据。

特点

该数据集的核心特点在于其多模态与高时间分辨率的标注体系。数据囊括了从传统生理特征到前沿视觉线索的全面信息，如心率变异性、皮肤电活动、身体关键点、面部动作单元及瞳孔特征。尤为突出的是，数据集提供了连续时间框架下的压力与情绪标注，由两位经验丰富的心理学家基于参与者自我报告与行为观察共同完成，其标注者间一致性达到科恩κ系数大于0.7，确保了标注的可靠性。此外，数据集还包含了基于自动编码器提取的瞳孔潜在空间特征，为压力检测提供了新颖的非侵入性模态。

使用方法

ForDigitStress数据集适用于压力识别与情感计算的研究，支持从单模态到多模态的机器学习模型开发。使用者可基于提供的特征集，如心率变异性、皮肤电活动、GEMAPS音频特征及OpenPose身体关键点，构建分类模型。数据集已通过留一主体交叉验证建立了基线性能，例如使用早期主成分分析融合多模态特征的前馈神经网络实现了88.3%的准确率。研究人员可进一步利用时间连续标注探索动态压力响应模式，或结合瞳孔视频数据开发基于深度学习的应力检测算法。数据集以会话为单位组织，总计约360GB，可通过指定网站申请获取，适用于非商业研究用途。

背景与挑战

背景概述

ForDigitStress数据集由奥格斯堡大学以人为中心的人工智能实验室于2023年发布，旨在通过数字求职面试场景诱导并记录多模态压力数据。该数据集由Alexander Heimerl、Elisabeth André等研究人员主导构建，核心研究问题聚焦于在自然且高生态效度的情境下，实现对人类压力的自动识别与情感计算。数据集包含40名参与者的音频、视频、生理信号及连续时间标注，不仅验证了唾液皮质醇作为生物压力标志物的有效性，还为压力检测模型提供了高分辨率的多模态基准，显著推动了情感计算与健康信息学领域的发展。

当前挑战

在压力检测领域，现有数据集常面临时间标注分辨率低、模态覆盖不全面的挑战，难以捕捉压力的动态变化与多维度表达。ForDigitStress数据集构建过程中，需克服多传感器数据同步、高精度连续标注的实现以及生物标志物验证等难题。具体而言，研究团队需整合微软Kinect、眼动仪及生理传感器，确保跨模态数据的时序一致性；同时，通过心理学家帧级标注与参与者自报告相结合，以达成高一致性的压力与情感标注，并利用唾液皮质醇分析验证压力诱导的有效性，从而为细粒度压力建模奠定坚实基础。

常用场景

经典使用场景

在情感计算与心理健康研究领域，ForDigitStress数据集以其多模态特性与真实压力诱导场景著称。该数据集通过模拟远程求职面试情境，系统采集了参与者的音频、视频（包括动作捕捉、面部识别与眼动追踪）及生理信号（如光电容积描记与皮肤电活动），并辅以时间连续的压力与情绪标注。这一设计使得研究者能够深入探索压力状态下的多维度行为与生理反应模式，为构建精准的压力识别模型提供了丰富的数据基础。

解决学术问题

ForDigitStress数据集有效应对了压力研究中标注时间分辨率不足与模态覆盖有限的学术挑战。传统数据集常依赖问卷调查，导致标注时间跨度大，难以捕捉压力动态变化；而该数据集通过心理学家逐帧标注与参与者自报告结合，实现了高时间分辨率的连续压力标注。同时，其涵盖的瞳孔特征等新颖模态，弥补了现有数据在非侵入式压力检测方面的空白，推动了多模态融合与动态压力识别方法的发展。

衍生相关工作

ForDigitStress数据集的发布催生了一系列围绕多模态压力检测的经典研究工作。例如，基于该数据集提取的瞳孔特征与自动编码器潜在表示，研究者探索了非侵入式压力识别的有效性；同时，融合HRV、动作单元与语音特征的神经网络模型在压力分类任务中表现出色，为后续跨模态融合与端到端学习提供了基准。这些工作不仅验证了数据集的实用性，也推动了情感计算与行为分析领域的算法创新。