DIPSEER: A Dataset for In-Person Student Emotion and Engagement Recognition in the Wild

DIPSEER是一个用于识别学生情绪和参与度的数据集，包含图像、标签和传感器数据。

DIPSEER is a dataset designed for the recognition of student emotions and engagement, incorporating image, label, and sensor data.

原始信息汇总

DIPSEER 数据集概述

数据集简介

• 名称: DIPSEER: A Dataset for In-Person Student Emotion and Engagement Recognition in the Wild
• 用途: 处理实验数据，包括图像、标签和传感器数据，创建按时间顺序排列的数据框，为每个收集的数据或元数据分配情绪和注意力标签。

项目结构

project/ ├── src/ │ ├── main.py │ └── classes/ │ ├── image_processor.py │ ├── label_reader.py │ ├── sensor_reader.py │ ├── data_processor.py │ └── experiment_processor.py └── README.md

文件描述

• main.py: 脚本入口点，处理命令行参数并调用必要的方法来处理实验。
• image_processor.py: 包含 ImageProcessor 类，处理图像路径及其元数据。
• label_reader.py: 包含 LabelReader 类，从 JSON 文件中读取标签。
• sensor_reader.py: 包含 SensorReader 类，从 JSON 文件中读取传感器数据。
• data_processor.py: 包含 DataProcessor 类，协调图像和传感器数据的处理并将其保存到 CSV 文件。
• experiment_processor.py: 包含 ExperimentProcessor 类，处理实验的整体流程，允许从命令行指定 group、experiment 和 subject 参数。

执行方式

运行脚本的命令： bash python src/main.py --base_path /path/to/experiments --group group_name --experiment experiment_name --subject subject_name

可以省略 --group、--experiment 和 --subject 参数以处理指定基础目录中的所有组、实验和主题。

安装要求

• 确保已安装 Python。
• 克隆仓库并导航到项目目录： bash git clone [e-mail]:rovitlib/dipseer.git cd dipseer

依赖库

• pandas
• argparse
• os
• json
• datetime

安装 pandas 版本 2.2.2： bash pip install pandas

数据访问

数据访问链接：https://www.scidb.cn/en/detail?dataSetId=7856c716c0cc4589a23ee4a23d8a0893

引用信息

标题: DIPSER: A Dataset for In-Person Student Engagement Recognition in the Wild
作者: Luis Marquez-Carpintero, Sergio Suescun-Ferrandiz, Carolina Lorenzo Álvarez, Jorge Fernandez-Herrero, Diego Viejo, Rosabel Roig-Vila, Miguel Cazorla
领域: Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI)
arXiv: 2502.20209v2 [cs.CV], 2 Mar 2025

搜集汇总

数据集介绍

构建方式

在教育场景下捕捉真实情感与参与度面临数据采集复杂性的挑战，DIPSEER数据集通过多模态融合方法构建而成。研究团队采用模块化架构设计，分别通过ImageProcessor处理图像路径与元数据，LabelReader解析JSON格式的情感标签，SensorReader读取传感器数据流，最终由DataProcessor整合为时序化数据帧。实验数据采集过程中严格遵循真实课堂环境设定，支持通过命令行参数动态指定实验组别、受试个体等变量，确保了数据在自然状态下的生态效度。

特点

该数据集的核心价值在于其真实场景下同步采集的多维度特征，包含面部表情图像、生理传感器数据及专家标注的双维度标签（情感状态与注意力水平）。时序对齐的数据结构支持微观行为分析，而模块化的元数据组织方式允许研究者灵活提取特定教学情境下的子集。作为目前少数公开的课堂参与度数据集，其标注体系经过教育心理学专家验证，为认知计算与教育技术交叉研究提供了基准。

使用方法

使用者需通过Git克隆仓库并安装指定版本的pandas依赖库。执行main.py脚本时，可通过--base_path参数指定实验数据根目录，结合--group/--experiment/--subject三级参数实现细粒度数据调用。数据集支持全量处理与个性化提取两种模式，输出为标准CSV格式的时序数据表，其中包含图像哈希值、传感器读数与双标签的映射关系。对于计算机视觉任务，可直接调用image_processor模块获取预处理后的图像数据流；行为分析研究则建议结合sensor_reader模块的生理信号进行多模态融合分析。

背景与挑战

背景概述

DIPSEER数据集由Luis Marquez-Carpintero等学者于2025年发布，旨在为教育场景下的学生情感与参与度识别研究提供真实环境下的多模态数据支持。该数据集由计算机视觉与人工智能领域的研究团队构建，收录了课堂教学环境中学生的图像、传感器数据及标注信息，通过时序化数据处理框架实现了情感状态与注意力水平的细粒度标注。作为首个专注于自然教学场景的学生行为分析开源数据集，DIPSEER为教育技术、课堂质量评估等研究方向提供了重要的基准数据，其多模态特性尤其有助于推动非接触式学习分析技术的发展。

当前挑战

该数据集致力于解决真实课堂环境中学生情感状态与学习参与度的自动识别难题，其核心挑战在于复杂光照条件下面部表情的精准捕捉、多人场景中的个体行为分离、以及多模态数据的时间同步问题。在构建过程中，研究团队需克服自然教学场景的数据采集伦理限制，设计兼顾隐私保护与数据效度的采集方案，同时建立跨模态的标注体系以统一视觉特征与传感器数据的时间戳。动态教学环境导致的头部遮挡、姿势变化等因素，进一步增加了数据标注与质量控制的复杂度。

常用场景

经典使用场景

在教育技术领域，DIPSEER数据集为研究者提供了一个真实场景下学生情感与参与度识别的宝贵资源。该数据集通过整合图像、标签和传感器数据，构建了一个时序有序的数据框架，使得研究者能够深入分析学生在课堂环境中的情感变化和注意力分布。其模块化的处理方式为多模态数据融合研究提供了标准化流程，特别适用于教育心理学与计算机视觉交叉领域的研究。

实际应用

在实际教学场景中，DIPSEER数据集支持开发智能课堂分析系统，帮助教师实时掌握学生参与状态。基于该数据集训练的模型可部署于智慧教室环境，自动识别学生的困惑、专注或分心等状态，为教学策略调整提供数据支撑。其多模态特性尤其适用于特殊教育场景，如自闭症儿童的情绪干预研究。

衍生相关工作

该数据集已催生多个教育AI领域的创新研究，包括基于时空特征的学生专注度预测模型、多模态数据融合的课堂质量评估系统等。相关成果发表在计算机视觉与教育技术顶级会议，推动了非接触式学习分析技术的发展。部分衍生工作进一步扩展了数据应用边界，如结合眼动追踪的深度学习框架验证。