CogBeacon

CogBeacon是一个多模态数据集，旨在针对人类性能中的认知疲劳效应。该数据集包含从19名男女用户收集的76个会话，这些用户执行了不同版本的威斯康星卡片分类测试（WCST）。在每个会话中，我们记录并完全注释了用户的EEG功能、面部关键点、实时自我报告的认知疲劳以及认知任务期间实现的表现指标（成功率、响应时间、错误数量等）的详细信息。此外，我们还提供了一个基线机器学习分析，用于预测认知疲劳，以及我们的多模态WCST实现，以允许其他研究者扩展或修改CogBeacon数据收集框架的功能。据我们所知，这是第一个专门设计来评估认知疲劳的多模态数据集。

CogBeacon is a multimodal dataset specifically designed to address the effects of cognitive fatigue in human performance. The dataset comprises 76 sessions collected from 19 male and female users who performed various versions of the Wisconsin Card Sorting Test (WCST). During each session, we recorded and fully annotated the users' EEG features, facial key points, real-time self-reported cognitive fatigue, and detailed performance metrics (such as success rate, response time, and number of errors) achieved during cognitive tasks. Additionally, we provide a baseline machine learning analysis for predicting cognitive fatigue, along with our multimodal WCST implementation, to allow other researchers to extend or modify the functionality of the CogBeacon data collection framework. To the best of our knowledge, this is the first multimodal dataset specifically designed to evaluate cognitive fatigue.

原始信息汇总

CogBeacon: A Multi-Modal Dataset for Modeling Cognitive Fatigue

Overview

CogBeacon is a multi-modal dataset designed to assess cognitive fatigue in human performance. It includes 76 sessions from 19 users performing the Wisconsin Card Sorting Test (WCST), a cognitive test that evaluates cognitive flexibility and reasoning. Data collected during these sessions include EEG functionality, facial keypoints, real-time self-reports on cognitive fatigue, and performance metrics.

Dataset Structure

The dataset is organized into four main folders:

1. EEG Data:

   • Filename Structure: Each session is stored in a separate folder named "user_<userID> _ <StimuliType> _ <GameMode>".
   • Data Types: Raw EEG, Absolute Frequency Bands, Relative Frequency Bands, Session Score for each Frequency band, Signal Quality Indicator.
   • Equipment: Data recorded using the Muse EEG headset.

2. Facial Keypoints:

   • Filename Structure: Data stored in the "face_keypoints" folder, with filenames structured as <round_under_the_same_rule> _ <roundID> _ <frameID>.
   • Data Collection: Captured using a webcam at 2 FPS, employing a Regression Tree approach for keypoint identification.

3. Fatigue Self Report:

   • Filename Structure: Data stored in the "fatigue_self_report" folder as CSV files, with filenames following the same structure as other data types.
   • Data Content: Records the total number of times a user pressed a button to indicate cognitive fatigue.

4. User Performance:

   • Filename Structure: Data stored as CSV files in the "user_performance" folder, with filenames structured similarly to other data types.
   • Metrics Included: Round Number, Question Number, Level, Score, Stimuli, Stimuli Type, Response, Time, Correct, NON-PER Errors, PER Errors.

Additional Resources

• Machine Learning Analysis: Code and data used for the ML analysis can be found HERE.
• EEG Data Codes: Python codes for EEG data processing are available HERE.

Confidentiality & Data Sharing

The dataset was approved by the Institutional Review Board (IRB) of the University of Texas at Arlington. For inquiries regarding confidentiality or data sharing, contact the IRB office at UTA or the project personnel.

搜集汇总

数据集介绍

构建方式

CogBeacon数据集通过多模态数据采集方式构建，旨在评估认知疲劳对人类表现的影响。该数据集包含76个会话，由19名男性和女性用户在执行不同版本的威斯康星卡片分类测试（WCST）时收集。每个会话中，记录并详细标注了用户的脑电图（EEG）功能、面部关键点、实时自我报告的认知疲劳状态以及认知任务中的表现指标（如成功率、反应时间、错误次数等）。EEG数据通过Muse EEG耳机采集，包含原始EEG信号、绝对和相对频率带宽以及信号质量指示器。面部关键点通过网络摄像头以2帧每秒的速率捕捉，使用回归树方法进行实时识别。疲劳自我报告通过按钮按压次数记录，用户表现数据则通过CSV文件存储，包含每轮的详细表现指标。

特点

CogBeacon数据集的主要特点在于其多模态数据的全面性和细致性。数据集不仅包含传统的EEG数据，还结合了面部关键点、自我报告的疲劳状态以及详细的用户表现指标，提供了多维度的认知疲劳评估。EEG数据的处理包括原始信号的采集、频率带宽的计算以及信号质量的评估，确保数据的科学性和可靠性。面部关键点的捕捉和疲劳自我报告的记录进一步增强了数据集的丰富性和实用性，使其成为研究认知疲劳的宝贵资源。

使用方法

CogBeacon数据集的使用方法多样，适用于多种研究场景。研究者可以通过分析EEG数据中的频率带宽变化来评估认知疲劳的神经生理学特征，利用面部关键点数据研究行为变化，结合自我报告数据进行主观疲劳评估。此外，用户表现数据提供了详细的任务执行情况，可用于构建和验证认知疲劳预测模型。数据集还提供了基线机器学习分析和多模态WCST实现，方便研究者扩展或修改数据收集框架。研究者可根据具体需求选择不同的数据类型和分析方法，进行深入的认知疲劳研究。

背景与挑战

背景概述

CogBeacon数据集由Michalis Papakostas、Akilesh Rajavenkatanarayanan和Fillia Makedon于2019年创建，旨在通过多模态数据研究认知疲劳对人类表现的影响。该数据集包含76个会话，来自19名男性和女性用户在执行不同版本的威斯康星卡片分类测试（WCST）时收集的数据。WCST是一种广泛应用于实验和临床心理学的认知测试，用于评估认知灵活性、推理能力和特定认知功能。CogBeacon数据集不仅记录了用户的脑电图（EEG）功能、面部关键点、实时自我报告的认知疲劳，还详细记录了认知任务中的表现指标。这是首个专门设计用于评估认知疲劳的多模态数据集，为相关领域的研究提供了宝贵的资源。

当前挑战

CogBeacon数据集在构建过程中面临多项挑战。首先，多模态数据的整合与同步是一个复杂的过程，涉及EEG、面部关键点和自我报告数据的精确对齐。其次，认知疲劳的量化和建模是一个高度复杂的任务，需要结合多种生理和行为数据进行综合分析。此外，数据的质量控制也是一个重要挑战，特别是在EEG信号的采集和处理过程中，确保信号的准确性和可靠性至关重要。最后，如何有效地利用这些多模态数据进行机器学习模型的训练和验证，以准确预测认知疲劳，也是一个亟待解决的问题。

常用场景

经典使用场景

CogBeacon数据集的经典使用场景主要集中在认知疲劳的建模与预测。通过整合多模态数据，包括脑电图（EEG）、面部关键点、自我报告的疲劳状态以及用户在威斯康星卡片分类测试（WCST）中的表现指标，研究者能够深入分析认知疲劳对人类认知功能的影响。这些数据为开发和验证基于多模态特征的认知疲劳预测模型提供了丰富的资源，尤其是在心理学和神经科学领域。

解决学术问题

CogBeacon数据集解决了认知疲劳研究中的关键学术问题，特别是在多模态数据整合与分析方面。传统研究往往依赖单一数据源，而CogBeacon通过提供多模态数据，使得研究者能够更全面地理解认知疲劳的复杂性。这不仅推动了认知疲劳的精确建模，还为跨学科研究提供了新的视角，如心理学、神经科学和机器学习的交叉应用。

衍生相关工作

CogBeacon数据集的发布激发了大量相关研究工作，特别是在多模态数据融合和认知疲劳预测模型方面。许多研究者利用该数据集开发了新的机器学习算法，以提高认知疲劳的预测精度。此外，该数据集还促进了跨学科合作，如心理学与计算机科学的结合，推动了认知疲劳研究的前沿进展。这些衍生工作不仅丰富了学术研究，也为实际应用提供了技术支持。