THERADIA WoZ

THERADIA WoZ数据集是一个专为医疗保健领域情感研究设计的生态语料库。该数据集包含52名健康老年人和9名轻度认知障碍（MCI）患者在进行计算机化认知训练（CCT）时的视听表达。所有参与者的表达均被完全转录，并部分基于最近的评价理论模型进行标注，包括新颖性、内在愉悦性、目标导向性和应对能力等维度。此外，还从成就情感文献中提取了23个情感标签进行标注。数据集的创建旨在帮助开发支持家庭CCT会话的虚拟助手，并可用于工业和学术研究社区。The THERADIA WoZ dataset is an ecological corpus specifically designed for affective research in healthcare. This dataset contains audio-visual expressions from 52 healthy older adults and 9 patients with mild cognitive impairment (MCI) during Computerized Cognitive Training (CCT) sessions. All participants' expressions were fully transcribed, and partially annotated based on recent Appraisal Theory models, including dimensions such as novelty, intrinsic pleasantness, goal-directedness, and coping ability. Additionally, 23 emotion labels extracted from achievement emotion literature were also used for annotation. The dataset was created to aid the development of virtual assistants that support home-based CCT conversations, and is available for both industrial and academic research communities.

搜集汇总

数据集介绍

构建方式

在医疗保健领域情感计算的研究背景下，THERADIA WoZ数据集的构建采用了生态化的实验范式。该研究招募了52名健康老年参与者和9名轻度认知障碍患者，在计算机化认知训练过程中，通过由人类远程操控的Wizard-of-Oz虚拟助手提供支持，从而采集自然交互场景下的多模态数据。数据收集过程严格遵循伦理审查，总计获得约80小时的原始音视频记录。随后，研究团队依据呼吸群组变化对录音进行精细分割，并基于ESLO项目原则完成了全部序列的法语转录。最终，从转录序列中筛选出包含情感表达的部分，构成了用于标注的核心数据子集。

特点

该数据集的核心特点在于其理论框架的先进性与标注体系的创新性。它首次在医疗保健领域的情感视听语料库中，全面依托评价理论的最新模型进行系统标注。标注体系涵盖了新颖性、内在愉悦度、目标促进性和应对能力四个核心评价维度，以及唤醒度维度，同时从成就情感文献中提取了23个分类情感标签进行强度标注。数据集不仅提供了连续时间维度的动态标注，还包含了序列级的摘要标注，形成了多层次的情感表征。此外，通过情感诱导实验设计，该数据集有效增强了情感表达的多样性和强度，为模型训练提供了更丰富的样本。

使用方法

THERADIA WoZ数据集为多模态情感识别研究提供了标准化的评估基准。研究者可利用其提供的音视频及文本转录数据，提取专家特征或基于自监督学习的深度表征，分别构建针对情感标签强度、分类以及评价维度摘要与连续值的预测模型。数据集已划分为训练、验证和测试集，并确保了人口统计学特征的平衡。在方法上，支持对文本、音频和视觉模态的单独或融合分析，可采用线性层、多层感知机或门控循环单元等模型架构。对于多模态融合，研究证明了基于普通最小二乘回归的决策融合或基于GRU的加权平均策略的有效性，为后续研究提供了可复现的基线方案。

背景与挑战

背景概述

THERADIA WoZ数据集于2024年由法国格勒诺布尔阿尔卑斯大学、里昂第二大学及多家工业合作伙伴联合创建，旨在推动医疗健康领域情感计算的生态化研究。该数据集聚焦于计算机化认知训练情境下，老年健康参与者与轻度认知障碍患者在与虚拟助手交互过程中产生的情感状态识别。其核心研究问题在于如何基于评估理论的多维度框架，实现对医疗场景中复杂情感表达的精准捕捉与自动分析，从而为人工智能辅助的认知康复系统提供关键数据支撑。该数据集的发布填补了医疗领域多模态情感语料库的空白，为跨学科研究提供了珍贵的生态效度资源。

当前挑战

THERADIA WoZ数据集面临的挑战主要体现在两方面：其一，在领域问题层面，医疗情境下的情感识别需克服非言语信号解读的复杂性，尤其是在认知训练中，参与者可能表现出微妙或混合的情感状态，这对基于评估理论的维度标注与分类提出了更高要求；其二，在构建过程中，数据收集涉及脆弱人群，需严格遵循伦理规范与隐私保护法规，同时确保实验协议的生态效度。此外，多模态数据的同步标注、评估维度的一致性验证，以及跨模态融合模型的优化，均为数据集构建与后续分析带来了显著的技术挑战。

常用场景

经典使用场景

在情感计算与医疗健康交叉领域，THERADIA WoZ数据集为基于评估理论的情感研究提供了生态化范本。该数据集最经典的使用场景在于支持计算机化认知训练过程中患者情感状态的自动识别与分析。研究者利用其多模态记录——包括音频、视频及文本转录——构建机器学习模型，旨在从老年健康参与者及轻度认知障碍患者的自然互动中捕捉情感表达的细微动态。这种场景模拟了虚拟助手辅助下的家庭康复环境，为探索人机交互中的情感同步机制奠定了数据基础。

实际应用

THERADIA WoZ数据集的实际应用紧密围绕智能医疗辅助系统的开发与优化。在临床实践中，该数据集支持构建能够实时监测患者情感状态的虚拟助手，用于计算机化认知训练的情绪适应性反馈。例如，系统可通过分析患者在训练任务中的语音韵律、面部动作单元及言语内容，自动识别挫败、自信或兴趣等状态，进而动态调整任务难度或提供情感支持。这种应用不仅减轻了治疗师的工作负荷，也提升了远程康复的参与度与疗效，为个性化数字疗法提供了关键技术支撑。

衍生相关工作

基于THERADIA WoZ数据集，研究者已开展多项经典衍生工作。在算法层面，团队探索了多模态融合策略，比较了专家特征与自监督表征在情感维度预测中的效能，并提出了基于评估器加权估计器的连续标注融合方法。在理论拓展方面，该数据集催生了针对医疗场景的情感核心集提炼工作，确立了十种最具语境相关性的情感标签。此外，其标注协议与工具链为后续医疗情感语料库的构建提供了范式参考，推动了跨文化、跨病种的情感计算研究协作。