MOCAS

MOCAS数据集是由普渡大学智能与安全技术实验室（SMART Lab）开发的多模态数据集，专注于人类认知负荷（CWL）评估。该数据集通过两个现成的可穿戴传感器和一个网络摄像头，从21名参与者中收集了生理信号和行为特征。参与者在完成每个任务后，通过完成NASA任务负荷指数（NASA-TLX）和即时自我评估（ISA）报告其CWL。此外，还通过人口统计和五大性格特质问卷调查了个人的背景信息，以及通过自我评估量表（SAM）获取了主观情绪信息。MOCAS数据集旨在为多模态融合CWL评估提供一个开放访问的数据源，特别是在结合生理和行为数据的真实世界应用中。

The MOCAS dataset is a multimodal dataset developed by the Smart and Secure Technologies Laboratory (SMART Lab) at Purdue University, focusing on human cognitive workload (CWL) assessment. Data was collected from 21 participants via two off-the-shelf wearable sensors and a webcam, capturing physiological signals and behavioral characteristics. After completing each task, participants self-reported their CWL via the NASA Task Load Index (NASA-TLX) and Immediate Self-Assessment (ISA). Additionally, personal background information was collected through demographic and Big Five Personality Traits questionnaires, and subjective emotional information was obtained via the Self-Assessment Manikin (SAM) scale. The MOCAS dataset aims to provide an open-access data source for multimodal fusion-based CWL assessment, particularly in real-world applications combining physiological and behavioral data.

搜集汇总

数据集介绍

构建方式

MOCAS数据集的构建基于21名受试者在执行现实闭路电视监控任务时收集的多模态数据。研究团队采用了两种商用可穿戴传感器和一个网络摄像头，以获取生理信号和行为特征。在每次任务后，参与者通过NASA-Task Load Index (NASA-TLX)和Instantaneous Self-Assessment (ISA)报告其认知负荷。此外，通过人口统计学和Big Five Factor人格问卷调查了个人背景，并通过Self-Assessment Manikin (SAM)获取了主观情绪信息。技术验证表明，在同时进行的闭路电视监控任务中成功引发了目标认知负荷水平，支持了所收集多模态信号的高质量。

特点

MOCAS数据集的显著特点在于其多模态数据的全面性和现实任务的相关性。与基于虚拟游戏刺激的现有数据集不同，MOCAS的数据来源于真实的监控任务，增强了其在实际应用中的适用性。数据集包括生理数据（如EEG、PPG、GSR、HR、IBI、SKT、ACC）、行为数据（如面部特征、眼睛特征、鼠标位置和点击）以及主观结果（如人格特质、情绪、ISA和NASA-TLX认知负荷）。此外，MOCAS是首个同时包含生理和行为数据以及认知负荷和情绪注释的开源数据集，涵盖了受试者的个人特质和背景。

使用方法

MOCAS数据集适用于研究认知负荷识别及其在人机交互系统中的应用。研究者可以通过分析多模态数据，结合生理和行为信号，开发和验证认知负荷评估模型。数据集的格式包括ros2bag和CSV，便于研究人员进行数据处理和分析。此外，数据集提供了预处理的数据和代码，支持快速开始研究和模型开发。为了保护受试者隐私，数据集的访问需遵守End User License Agreement (EULA)，确保数据的合法和道德使用。

背景与挑战

背景概述

MOCAS（Multimodal Dataset for Objective Cognitive Workload Assessment on Simultaneous Tasks）数据集由Purdue大学的SMART实验室开发，旨在通过多模态数据评估人类认知负荷。该数据集于2022年创建，主要研究人员包括Wonse Jo、Ruiqi Wang、Su Sun等。MOCAS的核心研究问题是如何在真实世界的闭路电视监控任务中客观评估认知负荷。与基于虚拟游戏刺激的现有数据集不同，MOCAS的数据收集自真实的监控任务，增强了其在实际应用中的适用性。该数据集的推出填补了多模态认知负荷评估领域的空白，为研究人员提供了宝贵的资源，推动了人机交互系统的设计与优化。

当前挑战

MOCAS数据集在构建过程中面临多项挑战。首先，如何从真实世界的监控任务中准确捕捉和量化认知负荷是一个复杂的问题。其次，多模态数据的融合与处理，包括生理信号和行为特征的同步采集与分析，增加了数据处理的复杂性。此外，个体差异如性格特质和情感状态对认知负荷的影响也需要深入研究。最后，确保数据集的开放性和可复现性，同时保护参与者的隐私和数据安全，是数据集发布和使用中的重要考量。

常用场景

经典使用场景

MOCAS数据集的经典使用场景主要集中在多模态认知负荷评估领域。通过结合生理信号（如脑电图、心率、皮肤电活动等）和行为特征（如面部表情、眼球运动等），研究人员能够更准确地评估和预测人类在执行复杂任务时的认知负荷水平。这种多模态融合的方法不仅提高了评估的准确性，还增强了其在实际应用中的鲁棒性。

实际应用

MOCAS数据集在实际应用中具有广泛的前景，特别是在需要高度认知负荷监控的领域，如航空交通管理、安全监控和复杂人机交互系统。通过实时监测操作员的认知负荷水平，系统可以动态调整任务分配和自动化程度，从而提高整体工作效率和安全性。此外，MOCAS还可用于驾驶员疲劳检测和智能辅助系统的设计，进一步提升人机协作的效果。

衍生相关工作

MOCAS数据集的发布催生了一系列相关研究工作，特别是在多模态数据融合和深度学习应用方面。例如，研究人员利用MOCAS数据集开发了基于LSTM和多模态融合的认知负荷分类模型，显著提高了分类准确率。此外，MOCAS还激发了对个体差异和情感状态与认知负荷关系的新研究，推动了情感计算和个性化人机交互系统的发展。