EngageNet

EngageNet数据集是由印度理工学院罗帕尔分校创建的大型多维度用户参与度预测数据集。该数据集包含31小时的数据，涵盖127名参与者在不同光照条件下的行为和认知参与度。数据集通过设计一项研究收集，参与者观看三个刺激视频并通过网络互动平台回答相关问题。EngageNet旨在通过捕捉行为和认知方面的参与度，为开发真实世界条件下的参与度预测系统提供丰富的数据支持。该数据集的应用领域包括教育、用户体验研究和人类-机器人交互，旨在解决在线互动中的用户参与度问题。EngageNet is a large-scale multi-dimensional user engagement prediction dataset created by the Indian Institute of Technology Ropar. It contains 31 hours of data, covering the behavioral and cognitive engagement of 127 participants under different lighting conditions. The dataset was collected via a study in which participants watched three stimulus videos and answered related questions through an online interactive platform. EngageNet aims to provide rich data support for developing engagement prediction systems under real-world scenarios by capturing both behavioral and cognitive aspects of user engagement. Its application fields include education, user experience research, and human-robot interaction, with the objective of addressing user engagement issues in online interactions.

搜集汇总

数据集介绍

构建方式

EngageNet数据集通过设计一个基于网络平台的实验来构建，参与者在观看三个刺激视频后回答相关问题。数据集包括31小时的视频数据，涵盖127名参与者，这些参与者在不同的光照条件下进行互动。数据集的构建不仅捕捉了行为层面的用户参与度，如头部姿势、眼神和面部表情，还通过问卷调查评估了认知层面的参与度。此外，数据集还引入了数字教师（虚拟头像）以研究其对用户参与度的影响。

使用方法

EngageNet数据集可用于开发和验证用户参与度预测模型。研究者可以利用数据集中的行为特征（如头部姿势、眼神和面部表情）和认知特征（如问卷回答）来训练和测试模型。数据集的公开代码和模型链接为研究者提供了便捷的实验平台，使其能够快速上手并进行相关研究。

背景与挑战

背景概述

EngageNet数据集由印度理工学院卢普尔分校和KDDI研究所的研究人员于2023年创建，旨在解决大规模用户参与度预测问题。该数据集包含了31小时的视频数据，涵盖了127名参与者在不同光照条件下的行为、认知和情感线索。通过设计一个基于网络的互动平台，研究人员记录了参与者观看刺激视频并回答相关问题的过程，从而捕捉了用户的多方面参与度。EngageNet的推出填补了现有数据集在多维度参与度记录方面的空白，并为未来的用户参与度检测技术提供了丰富的基准数据。

当前挑战

EngageNet数据集在构建过程中面临了多重挑战。首先，用户参与度的多维度特性要求数据集能够同时捕捉行为、认知和情感线索，这增加了数据采集和标注的复杂性。其次，数据集的多样性要求在不同光照条件和环境下的数据采集，确保了数据的广泛适用性。此外，数据集中的类别不平衡问题也是一个显著挑战，尤其是‘高度参与’类别的样本数量远超其他类别，可能导致模型在预测低参与度类别时表现不佳。未来研究需要探索解决类别不平衡问题的方法，如合成数据生成或加权损失函数。

常用场景

经典使用场景

EngageNet数据集的经典使用场景主要集中在用户参与度预测领域，尤其是在在线教育、虚拟会议和数字营销等场景中。通过分析用户在观看视频或与虚拟教师互动时的行为、认知和情感反应，研究者可以构建模型来预测用户的参与度。例如，在在线课堂中，教师可以通过检测学生的头部姿态、眼神注视和面部表情来判断学生的专注程度，从而调整教学策略以提高学生的参与感。

解决学术问题

EngageNet数据集解决了用户参与度预测中的多个学术问题，特别是在多模态数据融合和行为、认知、情感等多维度参与度分析方面。该数据集通过捕捉用户在自然环境中的行为数据，帮助研究者更好地理解用户在不同情境下的参与度变化。这不仅为参与度预测模型的开发提供了丰富的数据支持，还为跨学科研究（如人机交互、计算机视觉和心理学）提供了新的研究方向。

实际应用

EngageNet数据集在实际应用中具有广泛的潜力，尤其是在在线教育、数字营销和用户体验研究等领域。例如，在在线教育平台中，系统可以通过分析学生的参与度数据，自动调整教学内容或提醒学生保持专注。在数字营销中，广告商可以通过分析用户在观看广告时的参与度，优化广告策略以提高用户的兴趣和参与感。此外，该数据集还可用于开发智能机器人，使其能够根据用户的参与度动态调整交互方式。

数据集最近研究

最新研究方向

近年来，用户参与度预测在人机交互（HCI）领域引起了广泛关注，尤其是在在线教育和虚拟会议等场景中。EngageNet数据集通过捕捉用户在自然环境中的行为、认知和情感等多维度参与度，为这一领域的研究提供了丰富的资源。该数据集不仅涵盖了31小时的多模态数据，还引入了数字教师（虚拟头像）以探索其对用户参与度的影响。研究者们通过实验验证了该数据集在行为和认知参与度预测中的有效性，并提出了多种深度学习模型作为基准。此外，数据集的公开发布为未来的研究提供了基准，特别是在跨数据集验证和个性化用户体验设计方面，具有重要的研究价值和应用前景。

相关研究论文

• Do I Have Your Attention: A Large Scale Engagement Prediction Dataset and Baselines

  印度理工学院罗帕尔分校 · 2023年