教室参与度预测的多模态群体活动数据集

教室参与度预测的多模态群体活动数据集由科奇大学-伊斯银行人工智能中心创建，包含约八小时的视听记录，涵盖学生群体及其课堂参与度的自我评估分数。数据集内容丰富，包括视频、图像、自我评估分数等多种数据形式，旨在通过深度学习模型分析学生的课堂行为和参与度。创建过程中，研究团队遵循了以学生为中心的数据收集和模型开发流程，确保数据的有效性和适用性。该数据集主要应用于教育领域，特别是用于研究和改进21世纪学习环境中的学生参与度问题。

A Multimodal Group Activity Dataset for Classroom Engagement Prediction was developed by the Koç University - İŞBANK Artificial Intelligence Center. The dataset contains approximately 8 hours of audiovisual recordings, covering student groups and their self-assessment scores for classroom engagement. It includes diverse data modalities such as videos, images, and self-assessment scores, and is designed to analyze students' classroom behaviors and engagement using deep learning models. During its development, the research team adhered to a student-centered data collection and model development process to guarantee the validity and applicability of the dataset. This dataset is primarily utilized in the field of education, specifically for researching and enhancing student engagement in 21st-century learning environments.

搜集汇总

数据集介绍

构建方式

本数据集采用学生中心化的五阶段数据收集流程，包括数据收集、探索性分析、模型开发和微调、伦理考虑以及最终结果交互式应用程序的开发。数据收集阶段包括对本科生和研究生群体进行录音，记录他们在学习新创意编码工具时的活动。参与者通过CARMA软件使用CARMA评估清单对自我参与度进行评估，该清单包括可观察的参与度项目，例如“对某事感兴趣”或“非常认真地倾听”。数据集包括大约8小时的视听录音，并使用OpenFace和OpenPose工具从音频和视觉数据中提取特征。为了减少复制过程中的碳足迹，研究人员还发布了OpenFace和OpenPose向量。

特点

该数据集的特点包括：1）多模态数据：包括音频、视频和自我评估分数，涵盖情感、行为和认知参与度；2）大样本量：包含大约26540帧的视听录音和自我评估分数；3）开放性：数据集和数据分析脚本在开源存储库中提供，可供研究人员下载和使用；4）深度学习模型：研究人员开发了基于面部和群体活动的基础图像和视频识别模型，并发布了相应的Jupyter笔记本。

使用方法

研究人员可以下载数据集并使用脚本进行预处理。数据集包含26540帧，每帧都带有自我参与度评估分数。研究人员可以使用深度学习模型从这些音频和视觉数据中提取特征，并进行参与度水平的分类任务。此外，研究人员还可以使用OpenFace和OpenPose向量来进一步分析和理解参与度水平。

背景与挑战

背景概述

随着21世纪学习环境的演变，教室参与度成为衡量学生学习效果和教学质量的关键指标。然而，传统的参与度评估方法，如观察法和自我评估法，存在主观性强、可靠性低等局限性。为解决这一问题，Alpay Sabuncuoğlu 和 T.Metin Sezgin 等研究人员于 2023 年 4 月 19 日在科克大学 - Is Bank AI 中心的支持下，收集并发布了一个包含约八小时视听记录和学生自我评估分数的全新数据集，旨在通过多模态分析技术，更准确地预测和评估教室参与度水平。该数据集的发布为研究人员和教育工作者提供了一个宝贵的资源，有助于推动基于深度学习的参与度预测模型的开发和应用，从而促进 21 世纪学习环境的优化和提升。

当前挑战

尽管该数据集为教室参与度预测研究提供了重要的数据基础，但仍然面临一些挑战。首先，自我评估的可靠性问题仍然是研究的难点，如何确保学生自我评估分数与实际参与度水平的一致性，需要进一步探索和验证。其次，数据集中参与者的文化、行为和认知特征具有一定的局限性，这可能会影响模型的泛化能力。因此，未来的研究需要收集更具代表性的数据集，以提高模型的准确性和适用性。此外，将深度学习模型应用于教室参与度预测还需要考虑伦理问题，例如数据隐私保护、避免过度监控等。因此，在开发和部署相关模型时，需要严格遵守伦理规范，确保模型的公平性和透明性。

常用场景

经典使用场景

该数据集主要用于评估和预测学生在课堂中的参与度水平。通过收集学生群体的视听记录和自我评估分数，研究人员可以利用此数据集开发基于深度学习的模型，以识别和分析学生在课堂中的参与模式。例如，可以利用此数据集开发面部识别模型，以识别学生在课堂中的情绪状态，从而预测其参与度水平。此外，还可以利用此数据集开发视频识别模型，以识别学生在课堂中的行为模式，例如参与课堂讨论、与同伴互动等，从而预测其参与度水平。

衍生相关工作

该数据集衍生了多种相关的经典工作。例如，研究人员可以利用此数据集开发基于深度学习的模型，以识别和分析学生在课堂中的参与模式，从而预测其参与度水平。此外，还可以利用此数据集开发视频识别模型，以识别学生在课堂中的行为模式，例如参与课堂讨论、与同伴互动等，从而预测其参与度水平。这些工作可以帮助教师更好地了解学生的参与情况，从而优化教学方法和课程设计。

数据集最近研究

最新研究方向

在多模态群体活动数据集的背景下，教室参与度预测的最新研究方向主要集中在以下几个方面：首先，研究如何利用深度学习技术，如MobileNet和MoViNet等，从图像和视频中提取更准确的特征，以预测学生的参与度水平。其次，探索如何将来自不同知识源的特征进行有效组合，以提高分类准确率。此外，研究者们还在探索如何通过解释性实验，如LIME和EBM，来理解模型如何利用这些特征进行预测。最后，研究者们也在关注如何将这一系统应用到实际的教室环境中，并探讨相关的伦理问题。

相关研究论文

• Multimodal Group Activity Dataset for Classroom Engagement Level Prediction

  科奇大学-伊斯银行人工智能中心 · 2023年