CMOSE

CMOSE数据集是由香港科技大学创建的一个综合多模态在线学生参与度数据集，包含高质量的标签。该数据集收集自在线演示培训课程的视频片段，涵盖了多种自然场景下的参与者行为。数据集中的每个视频片段都与由心理学专家指导的标签员分配的参与度标签相关联。CMOSE数据集不仅提供了丰富的视觉特征，如预训练视频特征、高级面部特征和音频特征，还特别关注了数据的不平衡问题和类内变异，通过MocoRank机制进行处理。该数据集的应用领域主要集中在在线学习环境中，旨在通过自动检测学生的参与度来提高学习效果。

The CMOSE dataset is a comprehensive multimodal online student engagement dataset developed by The Hong Kong University of Science and Technology, featuring high-quality labels. Collected from video clips of online demo training courses, this dataset covers participant behaviors in various natural scenarios. Each video clip in the dataset is associated with engagement labels assigned by annotators guided by psychology experts. The CMOSE dataset not only provides rich visual features including pre-trained video features, advanced facial features and audio features, but also pays special attention to data imbalance and intra-class variation, which are handled via the MocoRank mechanism. Its application scenarios mainly focus on online learning environments, aiming to improve learning effectiveness through automatic detection of student engagement.

搜集汇总

数据集介绍

构建方式

CMOSE数据集的构建主要依托于在线演示培训课程的视频片段，这些视频片段涵盖了各种“野外”场景下参与者的多模态行为。通过对每个参与者的视频进行时间戳标记的语句进行分割，并邀请经过心理学专家培训的标注员进行标注，确保了数据的高质量。此外，数据集还包含了丰富的行为模式和参与者的种族、性别等信息，为研究者提供了宝贵的数据资源。

使用方法

使用CMOSE数据集时，首先需要了解数据集的构成和特点，包括数据分布、标注方式和模态信息等。其次，需要选择合适的模型和特征提取方法，并进行训练和测试。在训练过程中，可以尝试不同的损失函数和模型架构，以提高模型的性能。最后，可以通过对比实验来评估模型在不同数据集上的表现，以验证模型的迁移能力。

背景与挑战

背景概述

在线学习因其便利性而迅速发展，但学生参与度的检测成为一大挑战。CMOSE数据集由香港科技大学的研究团队于2023年创建，旨在解决现有数据集中标签质量差、类别内差异大和数据不平衡等问题。该数据集包含大量不同参与度水平的数据和高质量标签，这些标签是根据心理学专家的建议生成的。CMOSE数据集的提出为在线学习环境中的学生参与度检测提供了新的研究方向，对相关领域产生了积极的影响。

当前挑战

CMOSE数据集面临的挑战主要包括：1) 所解决的领域问题：在线学习中，学生参与度检测的挑战在于如何准确区分不同参与度水平的学生，以及如何处理数据不平衡问题。2) 构建过程中所遇到的挑战：CMOSE数据集在构建过程中面临的挑战包括如何获取高质量的参与度标签，以及如何有效地处理类别内差异和数据不平衡问题。为了解决这些问题，研究团队提出了MocoRank训练机制，该机制能够有效地处理数据不平衡、类别内差异和类别之间的序数关系。

常用场景

经典使用场景

CMOSE数据集是针对在线学习场景中学生参与度识别的全面多模态数据集。其经典使用场景是开发参与度识别系统，以提升在线课堂的学习体验。通过分析模型在其他参与度数据集上的性能，CMOSE数据集展示了其优越的迁移能力。此外，CMOSE数据集还开发了一种训练机制MocoRank，以处理类内差异、不同类别之间的序数关系和数据不平衡问题。

解决学术问题

CMOSE数据集解决了现有参与度检测数据集中存在的几个主要问题，包括数据不平衡、类内差异和标签质量差。CMOSE数据集通过引入高质量标签和MocoRank训练机制，有效地解决了这些问题，从而提高了参与度检测模型的准确性和鲁棒性。CMOSE数据集的提出对参与度检测领域的研究具有重要的意义和影响。

实际应用

CMOSE数据集的实际应用场景包括在线教育平台、远程工作监控系统和虚拟现实学习环境。在线教育平台可以利用CMOSE数据集开发的参与度识别系统，实时监测学生的学习状态，并为教师提供反馈，以提高教学效果。远程工作监控系统可以利用CMOSE数据集开发的参与度识别系统，监测员工的工作状态，以提高工作效率。虚拟现实学习环境可以利用CMOSE数据集开发的参与度识别系统，监测用户的学习状态，并为用户提供个性化的学习体验。

数据集最近研究

最新研究方向

CMOSE数据集作为在线学习学生参与度检测领域的突破，其高质标签和多元模态特性为研究提供了宝贵资源。该数据集解决了现有数据集中标签质量差、类内差异和数据不平衡的问题。MocoRank训练机制有效地处理了这些问题，通过对比学习提高了参与度检测的准确性。此外，结合不同层次的视觉特征和音频特征，进一步提升了模型性能，为多模态参与度检测研究开辟了新方向。CMOSE数据集的转移性也得到了验证，表明其在其他参与度数据集上的模型表现优于其他数据集。这一成果不仅对在线学习环境下的学生参与度检测具有重要意义，也为未来多模态学习分析提供了新的研究路径。

相关研究论文

• CMOSE: Comprehensive Multi-Modality Online Student Engagement Dataset with High-Quality Labels

  香港科技大学 · 2023年