VRMN-bD

VRMN-bD是由清华大学信息科学与技术学院未来实验室创建的多模态自然行为数据集，专注于沉浸式人类恐惧反应。该数据集包含23名参与者在VR恐怖游戏中的姿势、音频和生理信号数据，旨在解决虚拟现实环境中恐惧情绪的识别和预测问题。数据集通过严格的实验设计和多模态数据融合，为研究者提供了一个高质量的研究平台，以探索和理解虚拟环境中的情感计算和用户行为。

VRMN-bD is a multimodal natural behavior dataset developed by the Future Lab, School of Information Science and Technology, Tsinghua University, focusing on immersive human fear responses. This dataset collects posture, audio and physiological signal data from 23 participants during VR horror gaming sessions, aiming to tackle the recognition and prediction of fear emotions in virtual reality environments. Through rigorous experimental design and multimodal data fusion, this dataset provides a high-quality research platform for researchers to explore and understand affective computing and user behavior in virtual environments.

搜集汇总

数据集介绍

构建方式

VRMN-bD数据集通过使用虚拟现实（VR）恐怖游戏作为媒介，收集了23名玩家的多种模态数据，包括姿态、音频和生理信号。实验设计严格，参与者在VR环境中体验恐怖游戏，同时通过多视角摄像机记录其行为，使用OpenPose提取骨骼点并进行3D重建。音频通过无线麦克风记录，生理信号则通过Zephyr™ BioHarness™设备采集。数据经过预处理和标注，最终构建了一个多模态的自然行为数据集，涵盖了恐惧情绪的不同层次。

使用方法

VRMN-bD数据集可用于多种情感识别和机器学习任务，特别是针对恐惧情绪的分类和预测。研究者可以通过LSTM等深度学习模型对数据进行训练，预测玩家在VR环境中的恐惧程度。数据集的多模态特性使得模型能够综合利用姿态、音频和生理信号，提升预测的准确性。此外，数据集还可用于开发和评估VR游戏中的情感交互设计，帮助开发者更好地理解玩家的情感反应，优化游戏体验。

背景与挑战

背景概述

VRMN-bD数据集由清华大学、宾夕法尼亚州立大学和中国传媒大学等机构的研究人员共同创建，旨在解决元宇宙时代中情感识别的重要挑战。该数据集通过虚拟现实（VR）恐怖游戏，收集了23名玩家的多种模态数据（姿态、音频和生理信号），以分析和预测恐惧情绪。研究团队基于长短期记忆网络（LSTM）模型，实现了在6级分类（无恐惧和五种不同程度的恐惧）和2级分类（无恐惧和恐惧）任务中分别达到65.31%和90.47%的准确率。该数据集的构建不仅为沉浸式游戏开发和虚拟人机交互应用提供了重要支持，还通过与现有相关数据集的比较，展示了其在数据收集方法、数据规模和受众范围上的优势。

当前挑战

VRMN-bD数据集在构建过程中面临多重挑战。首先，恐惧情绪的识别本身就是一个复杂的任务，尤其是在虚拟环境中，情绪的表达可能更加隐晦，且存在自我掩饰的现象。其次，多模态数据的融合与处理也是一个技术难点，如何有效整合姿态、音频和生理信号以提高预测准确性，是该数据集面临的主要挑战之一。此外，数据集的构建还需要克服个体差异、数据标注的一致性以及长时间实验中可能出现的生理不适等问题。最后，如何在保持数据多样性的同时，确保数据集的规模和质量，也是该研究团队需要解决的难题。

常用场景

经典使用场景

VRMN-bD数据集的经典使用场景主要集中在虚拟现实（VR）环境中的人类恐惧情绪识别与预测。通过收集多模态数据，包括姿势、音频和生理信号，该数据集为研究人员提供了一个独特的平台，用于开发和验证基于LSTM的恐惧情绪识别模型。其65.31%的6级分类准确率和90.47%的2级分类准确率展示了其在恐惧情绪识别任务中的潜力。

解决学术问题

VRMN-bD数据集解决了情感计算领域中长期存在的挑战，特别是在虚拟现实环境中识别和预测恐惧情绪的难题。通过提供多模态数据，该数据集为研究人员提供了一个高质量的基准，用于开发和验证情感识别算法。其解决了情感识别中的多模态数据融合问题，并为未来的情感计算研究提供了重要的参考价值。

实际应用

VRMN-bD数据集在实际应用中具有广泛的潜力，特别是在虚拟现实游戏开发、心理治疗和用户体验优化等领域。通过识别用户的恐惧情绪，开发者可以动态调整游戏难度和氛围，提升沉浸感和用户体验。此外，该数据集还可用于虚拟现实暴露疗法，帮助治疗焦虑症和特定恐惧症患者。

数据集最近研究

最新研究方向

近年来，VRMN-bD数据集在虚拟现实（VR）环境中的人类恐惧情绪识别领域引起了广泛关注。该数据集通过多模态数据（姿态、音频和生理信号）捕捉沉浸式VR恐怖游戏中的自然恐惧反应，为情感计算和虚拟人机交互研究提供了重要资源。其前沿研究方向主要集中在多模态情感识别算法的开发与优化，尤其是在VR环境中对恐惧情绪的精确识别。研究者们通过LSTM模型结合注意力机制，实现了对恐惧情绪的高效分类，展示了多模态数据融合在情感识别中的潜力。此外，该数据集的构建方法和实验设计为未来在元宇宙背景下研究情感交互提供了新的思路，尤其是在虚拟环境中如何通过情感识别提升用户体验和沉浸感方面具有重要意义。

相关研究论文

• VRMN-bD: A Multi-modal Natural Behavior Dataset of Immersive Human Fear Responses in VR Stand-up Interactive Games

  清华大学信息科学与技术学院未来实验室 · 2024年