RecruitView

RecruitView是一个强大的多模态数据集，旨在推动情感计算、自动化个性评估和软技能评估的边界。它包含来自300多名参与者的2011个野外视频回答，回答了76个精选的面试问题。数据集的独特之处在于其真实标签：由临床心理学家进行的27000多次成对比较得出，并转换为心理测量学上的连续分数。数据集结构支持无缝的多模态学习（视频+音频+文本），并包含12个目标维度的连续回归目标，包括个性特征（大五人格）和面试表现指标。

RecruitView is a robust multimodal dataset designed to push the boundaries of affective computing, automated personality assessment, and soft skill evaluation. It contains 2011 in-the-wild video responses from over 300 participants, answering 76 curated interview questions. What distinguishes this dataset is its ground-truth labels: derived from over 27,000 pairwise comparisons conducted by clinical psychologists, and converted into psychometrically validated continuous scores. The dataset structure enables seamless multimodal learning (video + audio + text) and includes continuous regression targets across 12 target dimensions, covering personality traits (Big Five personality traits) and interview performance metrics.

原始信息汇总

RecruitView 数据集概述

数据集基本信息

• 数据集名称: RecruitView: Multimodal Dataset for Personality & Interview Performance for Human Resources Applications
• 核心描述: 一个用于情感计算、自动化人格评估和软技能评估的鲁棒多模态数据集。它旨在解决人力资源和心理学领域中，评估候选人时文本内容、音频表达和非语言行为之间复杂的相互作用问题。
• 数据规模: 包含来自超过300名参与者的2,011个“野外”视频回答，针对76个精心设计的面试问题。
• 标注特色: 标注真值来源于临床心理学家进行的27,000多次成对比较，并通过数学方法转换为具有心理测量学基础的连续分数。
• 许可证: CC BY-NC 4.0
• 论文: https://arxiv.org/abs/2512.00450
• 完整数据集地址: https://huggingface.co/datasets/AI4A-lab/RecruitView

数据内容与结构

数据模态

• 视频 (Video)
• 音频 (Audio)
• 文本 (Text)

元数据字段

每个样本在数据集JSON元数据中包含以下字段：

• id: 唯一条目标识符。
• file_name: MP4文件名。
• duration: 分类时长（短/中/长）。
• question_id: 每个面试问题的唯一标识符。
• question: 具体的面试提示（例如，“介绍一下你自己”）。
• video_quality: 录音的质量评估。
• user_no: 匿名化的唯一参与者ID。
• [Target Metrics]: 12个连续分数（已归一化，几乎以0为中心）。
• transcript: 逐字语音转文本（通过Whisper-large-v3生成）。
• gemini_summary: 使用Google Gemini 2.5 Pro创建的面试回答摘要。

目标评估维度

数据集提供两个类别的连续回归目标：

1. 人格特质（大五人格）

基于大五人格特质的分数：

• 开放性 (O): 想象力、创造力和求知欲。
• 尽责性 (C): 自律、组织和目标导向行为。
• 外向性 (E): 社交性、自信和社交互动中的活力。
• 宜人性 (A): 同情心、合作性和可信赖性。
• 神经质 (N): 情绪稳定性与焦虑/压力倾向。
• 整体人格: 从特质组合中得出的整体指数。

2. 面试表现指标

对人力资源应用至关重要的基于能力的评估：

• 面试分数: 面试片段的整体质量。
• 回答分数: 对所提问题内容的关联性、连贯性和结构。
• 口语技能: 清晰度、语速、语调和避免使用填充词。
• 自信分数: 通过言语/非言语线索投射出的自信。
• 面部表情: 通过面部线索表现出的参与度和情感传递。
• 整体表现: 候选人表现的全面总结。

数据收集与处理

收集方式

• 野外收集: 参与者使用自定义平台QAVideoShare在自然环境（家庭、教室）中自行录制，确保了光照、背景和音频条件的多样性。

标注过程

• 专家标注: 聘请临床心理学家作为标注员。
• 成对比较: 采用“比较判断”方法，标注员对两个并排视频进行判断（例如，“谁看起来更自信？”）。
• 模型处理: 收集约27,310条判断，并使用多项式Logit (MNL) 模型和核范数正则化进行处理，以生成高保真度的连续标签。

基准测试结果

使用新颖的跨模态回归与流形融合 (CRMF) 框架对数据集进行基准测试，并与先进的大型多模态模型 (LMMs) 进行比较。

模型	宏观斯皮尔曼 (ρ)	宏观C-指数
MiniCPM-o 2.6 (8B)	0.5102	0.6779
VideoLLaMA2.1-AV (7B)	0.5002	0.6778
Qwen2.5-Omni (7B)	0.4882	0.6658
CRMF (Ours)	0.5682	0.7183

使用限制与伦理考量

1. 仅限学术研究: 数据集在CC BY-NC 4.0许可下发布，严格禁止商业用途。
2. 禁止自动化招聘: 禁止将此数据集及基于其训练的模型用于现实世界招聘、就业筛选或心理剖析的自动化决策。
3. 禁止有害用途: 禁止将视频、数据集及所有相关信息用于任何可能伤害、剥削或歪曲所涉及个人的目的。
4. 禁止身份识别: 严禁使用数据集、视频或任何相关信息来识别、追踪或揭示所涉及个人的身份。
5. 偏见意识: 参与者主要为大学生，模型可能无法完美推广到所有人口统计群体。用户应进行公平性审计。
6. 隐私保护: 所有个人身份信息 (PII) 均已匿名化，用户ID随机化。

获取说明

• 本仓库仅提供有限数量的视频示例及其元数据作为样本。
• 完整数据集需在提交需求表格并同意条款和条件后，方可在Hugging Face (AI4A-lab/RecruitView) 上获取。此限制旨在保护参与者的身份和隐私。

引用

如果研究中使用RecruitView，请引用相关论文。

搜集汇总

数据集介绍

构建方式

在人力资源与心理学交叉领域，传统评估方法常受限于实验室环境的非自然性。RecruitView数据集的构建突破了这一局限，采用生态效度优先的采集策略。研究者开发了名为QAVideoShare的定制平台，邀请300余名参与者在家庭、教室等自然环境中自主录制视频回答，共收集了2,011段真实场景下的面试回应。标注过程摒弃了传统的主观评分法，转而采用心理测量学中较为可靠的比较判断法：聘请临床心理学家对视频进行27,000余次两两比较，通过多项式Logit模型结合核范数正则化技术，将离散比较转化为12个连续维度的心理计量学分数，有效降低了评分者偏差。

使用方法

为促进多模态学习任务的开展，数据集以标准化JSON格式组织元数据，每个样本包含文件路径、问题文本、转录内容及12个标准化目标分数。使用者需遵循基于用户ID的分层划分策略，以防止身份信息泄露导致的评估偏差。在技术应用层面，该数据集支持从早期特征融合到晚期决策融合等多种多模态建模范式，特别适用于开发跨模态回归、人格计算及软技能评估模型。研究团队提供的CRMF基准框架展示了如何通过流形融合技术有效整合不同模态的几何信息，为后续研究提供了方法论参照。所有使用必须严格遵守仅限学术研究的许可协议，严禁任何形式的身份识别或自动化招聘决策应用。

背景与挑战

背景概述

在人力资源管理与计算心理学的交叉领域，如何通过多模态数据客观评估候选人的个性特质与面试表现，一直是学术界与工业界共同关注的前沿课题。RecruitView数据集于2025年由Manipal University Jaipur的研究团队正式发布，其核心目标在于构建一个生态效度更高的多模态基准，以推动情感计算与自动化人格评估的研究。该数据集收录了来自300余名参与者在自然环境中录制的2011段视频回答，涵盖了76个精心设计的面试问题。通过临床心理学家完成的超过27000对比较判断，并经由多项Logit模型与核范数正则化处理，数据集提供了基于大五人格模型与面试表现指标的连续回归标签。这一工作不仅为多模态学习提供了高质量的真实世界数据，也为探索非语言行为与心理特质之间的复杂关联奠定了实证基础。

当前挑战

RecruitView数据集致力于解决人力资源场景中自动化人格与面试表现评估的挑战，其核心在于如何从视频、音频和文本的多模态信号中，精准且可靠地推断内在心理特质与外在表现指标。这一任务面临多重困难：心理构念如“自信度”或“宜人性”本身具有主观性与模糊性；不同模态信息（如面部表情与语音语调）之间存在复杂的非线性交互；且模型需在多样化的真实环境录制条件（如变化的照明与背景噪声）下保持稳健性。在数据构建过程中，研究团队需克服标注信度的难题——传统绝对评分易受个体评分者偏差影响。为此，他们创新性地采用成对比较判断法，并邀请临床心理学家作为专家标注者，通过大规模比较数据与正则化统计模型来生成心理测量学上可靠的连续标签。此外，在保护参与者隐私与符合伦理规范的前提下，于自然环境中收集高质量的多模态数据，亦构成了显著的工程与组织挑战。

常用场景

经典使用场景

在人力资源与计算心理学的交叉领域，RecruitView数据集为多模态行为分析提供了经典的研究场景。该数据集通过整合视频、音频与文本信息，构建了一个模拟真实面试环境的分析框架。研究者可基于此数据集，系统探究候选人在非结构化情境下的多模态行为特征，如何协同映射至其人格特质与面试表现。这一场景不仅复现了人力资源评估中专家综合判断的复杂过程，更为构建端到端的自动化行为分析模型提供了标准化实验平台。

解决学术问题

RecruitView致力于解决计算行为科学中若干关键学术问题。首先，它通过临床心理学专家进行的数万次两两比较标注，提供了心理测量学上可靠且连续的标签，有效缓解了传统绝对评分中存在的标注者偏差与信度不足问题。其次，数据集将人格五因素模型与具体面试表现指标相结合，为探索稳定心理特质与情境化行为表现之间的关联提供了实证基础。这推动了对“软技能”进行客观、可量化评估的跨学科研究，并为建立具有几何归纳偏好的多模态回归模型提供了基准。

实际应用

尽管数据集严格限定于学术研究，但其设计理念深刻启发了人力资源技术的潜在应用方向。基于此类数据训练的模型，未来或可辅助人力资源从业者进行初步的面试复盘与分析，例如自动识别回答内容的连贯性、演讲技巧的流畅度或非语言行为的一致性，从而提供结构化的反馈参考。在教育领域，类似技术也可用于模拟面试培训，帮助求职者提升自我展示能力。这些应用始终强调人机协同，旨在增强而非替代人类专业判断，并严格遵守伦理规范。

数据集最近研究

最新研究方向

在人力资源与计算心理学的交叉领域，RecruitView数据集正推动着多模态行为分析的前沿探索。该数据集通过融合视频、音频与文本信息，为基于大五人格特质与面试表现指标的自动化评估提供了高质量的生态效度数据。当前研究热点聚焦于开发能够理解人类复杂非语言线索的几何归纳偏置模型，例如通过流形融合技术来捕捉人格与行为表现的细微几何结构，从而超越通用大型多模态模型的局限。这一方向不仅提升了机器对人类特质感知的准确性，也为构建更公平、可解释的辅助评估工具奠定了实证基础，对推动负责任的人工智能在敏感社会场景中的应用具有深远意义。