新型多模态个性识别数据集

本研究构建了一个包含全身姿态数据的新型多模态个性识别数据集。该数据集由287名大学生完成的虚拟面试视频组成，视频包含36个问题，并伴有自我报告的大五人格评分作为标签。数据集采用了AlphaPose技术提取姿态信息，涵盖了视觉、音频、文本等多种模态，适用于心理学、教育、人工智能等领域，旨在提高个性预测模型的准确性。This research develops a novel multimodal personality recognition dataset with full-body pose data included. The dataset is composed of virtual interview videos completed by 287 college students, which contain 36 questions, and is paired with self-reported Big Five Personality scores as ground-truth labels. AlphaPose is employed to extract pose information from the dataset, which covers multiple modalities including visual, audio and text. This dataset is applicable to disciplines such as psychology, education and artificial intelligence, and aims to enhance the accuracy of personality prediction models.

搜集汇总

数据集介绍

构建方式

该数据集的构建基于287名参与者在虚拟面试中的全身视频记录，结合了自报的大五人格得分作为标签。数据收集过程中，参与者通过一个3D虚拟面试官进行结构化面试，回答了36个问题。视频数据通过AlphaPose提取姿势信息，并结合面部、音频和文本等多模态数据进行对齐和预处理，最终形成了包含帧、面部、姿势、音频和文本五种模态的数据集。

特点

该数据集的特点在于其首次引入了全身姿势数据，填补了现有数据集中缺乏高质量全身姿势数据的空白。数据集不仅包含传统的面部、音频和文本模态，还通过心理学理论指导，强调了不同模态对人格特质的不同贡献。此外，数据集的构建过程严格遵循心理学研究的标准，确保了数据的科学性和可靠性。

使用方法

该数据集的使用方法主要基于心理学启发网络（PINet），该网络包含多模态特征感知（MFA）、多模态特征交互（MFI）和心理学指导的模态相关损失（PIMC Loss）三个模块。MFA模块通过Vision Mamba Block捕捉视觉特征，MFI模块高效融合多模态信息，PIMC Loss则根据心理学理论指导模型在不同人格维度上强调不同的模态。实验表明，PINet在预测大五人格特质方面显著优于现有基线模型，且姿势数据的引入显著提升了模型性能。

背景与挑战

背景概述

新型多模态个性识别数据集由华东师范大学的Bin Tang等人于2025年创建，旨在填补现有个性识别数据集中缺乏全身姿态数据的空白。该数据集包含287名参与者在虚拟面试中的全身视频记录，以及自我报告的大五人格分数作为标签。研究团队提出了心理学启发的网络（PINet），通过多模态特征感知、多模态特征交互和心理学指导的模态相关损失模块，显著提升了人格预测的准确性。该数据集的创建不仅推动了人工智能与心理学的交叉研究，还为多模态数据分析提供了新的视角。

当前挑战

新型多模态个性识别数据集面临的主要挑战包括两个方面。首先，现有的人格识别数据集大多缺乏高质量的全身姿态数据，导致模型在捕捉与人格特质相关的姿态特征时表现不佳。其次，当前的人格预测模型通常仅支持文本、语音和面部模态的输入，无法有效融合姿态数据。此外，现有方法在多模态特征融合时未能充分考虑不同模态对人格特质各维度的贡献差异，导致预测精度受限。构建过程中，研究团队还需解决多模态数据对齐、姿态信息提取以及心理学理论与机器学习模型结合的复杂性等问题。

常用场景

经典使用场景

新型多模态个性识别数据集在心理学与人工智能交叉领域的研究中具有重要应用。该数据集通过结合全身姿态数据、面部表情、音频和文本等多模态信息，为基于大五人格模型（OCEAN）的个性预测提供了丰富的数据支持。其经典使用场景包括通过虚拟面试中的多模态数据（如姿态、语音、面部表情等）来预测个体的开放性、尽责性、外向性、宜人性和神经质等人格特质。

解决学术问题

该数据集解决了现有研究中缺乏高质量全身姿态数据的问题，填补了多模态个性识别领域的空白。通过引入全身姿态数据，数据集显著提升了模型在预测大五人格特质时的准确性。此外，数据集还通过心理学启发网络（PINet）的多模态特征感知、多模态特征交互和心理引导的模态相关损失（PIMC Loss）模块，解决了现有模型在多模态融合时未能充分考虑不同模态对人格特质维度的贡献差异的问题。

衍生相关工作

该数据集衍生了多项经典研究工作，尤其是在多模态个性识别模型的开发方面。基于该数据集，研究者提出了心理学启发网络（PINet），该网络首次将Mamba技术引入个性识别任务，显著提升了视觉编码器和多模态融合模块的性能。此外，PINet中的PIMC Loss模块为多模态个性识别任务提供了新的损失函数设计思路，推动了该领域的技术进步。相关研究还进一步验证了姿态数据在个性预测中的重要性，为未来的多模态个性识别研究提供了新的方向。