BAH Dataset

BAH数据集是一个针对视频中行为改变的多模态犹豫/犹豫识别而收集的视频数据集。该数据集由来自加拿大9个省的224名参与者提供，视频总时长为8.26小时，其中包含1.5小时的犹豫/犹豫内容。数据集由行为科学专家在视频和帧级别进行了标注，并提供了详细的视频和帧级标注以及参与者元数据。该数据集旨在帮助研究人员开发用于识别犹豫/犹豫的机器学习模型，以支持个性化的数字行为改变干预。数据集已经用于2025年的公开挑战，并且可供公众访问。

The BAH Dataset is a curated video collection for multimodal hesitation recognition in the context of behavioral change from video content. It was contributed by 224 participants from 9 provinces across Canada, with a total video duration of 8.26 hours, of which 1.5 hours are hesitation-related segments. Annotated by behavioral science experts at both video and frame levels, the dataset provides detailed video-level and frame-level annotations as well as participant metadata. This dataset aims to assist researchers in developing machine learning models for hesitation recognition to support personalized digital behavioral change interventions. The dataset has been utilized in the 2025 public challenge and is publicly accessible.

搜集汇总

数据集介绍

构建方式

BAH数据集是通过网络平台收集224名加拿大参与者的视频数据构建而成，这些参与者在回答7个设计问题时通过摄像头和麦克风记录自己的反应。数据收集过程包括参与者的人口统计信息、情感反应评分以及视频录制，最终形成1,118个视频，总时长8.26小时，其中1.5小时包含矛盾/犹豫（A/H）情感片段。数据集由行为科学专家进行视频级和帧级标注，并记录了A/H出现的时间段及其相关线索。

使用方法

BAH数据集可用于训练和评估机器学习模型在视频中识别矛盾/犹豫（A/H）情感的能力。使用方法包括：1) 多模态融合，结合视觉、音频和文本特征进行情感分析；2) 时间上下文建模，利用视频的时序信息提升识别效果；3) 个性化学习，通过参与者元数据进行领域自适应训练。数据集适用于分类任务、零样本预测以及无监督领域适应等场景，为行为改变干预和数字健康应用提供支持。

背景与挑战

背景概述

BAH（Behavioural Ambivalence/Hesitancy）数据集是首个专注于视频中矛盾/犹豫情绪（A/H）识别的多模态数据集，由加拿大蒙特利尔工程学院LIVIA实验室、康考迪亚大学等机构于2025年5月联合发布。该数据集包含224名加拿大参与者的1,118段视频（总时长8.26小时），通过定制化网络平台采集被试者在回答7类诱导性问题时的多模态反应（面部表情、语音、肢体语言及文本转录）。其核心研究目标是解决行为科学中矛盾情绪自动识别的数据缺失问题，为数字化健康干预提供个性化情感分析基础。作为首个公开的A/H专用数据集，BAH通过专家标注的帧级/视频级标签及多模态不一致性线索，推动了情感计算在心理健康、慢性病管理等领域的应用。

当前挑战

领域挑战：1) 矛盾情绪具有多模态冲突特性（如语言肯定但表情否定），传统基于单一模态的情感识别模型难以捕捉；2) A/H片段平均仅持续4.25秒且占比18.15%，存在显著类别不平衡。构建挑战：1) 数据采集需同步协调面部、语音、肢体等多模态信号，且需设计特定问题诱发真实A/H反应；2) 标注依赖行为科学专家人工识别细微线索，帧级标注成本高昂；3) 参与者设备差异导致视频/音频质量不一，需开发标准化预处理流程。基线实验显示，最佳多模态模型的F1分数仅0.3046，印证了该任务的复杂性。

常用场景

经典使用场景

BAH数据集专为视频中的行为矛盾/犹豫（A/H）识别而设计，其经典使用场景包括数字健康干预中的个性化情感识别。通过捕捉参与者在回答设计问题时表现出的面部表情、语音和肢体语言等多模态数据，该数据集为机器学习模型提供了丰富的训练素材，特别适用于实时、资源有限的环境下的情感计算研究。

解决学术问题

BAH数据集解决了情感计算领域中复杂情绪识别的研究空白，尤其是行为矛盾与犹豫这类细微且多模态交织的情感状态。其标注的视频和帧级别数据为设计鲁棒的A/H自动识别算法提供了基准，推动了数字健康干预中个性化情感分析技术的发展，填补了现有数据集在行为科学和机器学习交叉领域的不足。

实际应用

在实际应用中，BAH数据集可集成至远程医疗平台或虚拟健康助手，通过分析用户的矛盾情绪优化干预策略。例如，在戒烟或健康习惯培养的数字化疗法中，系统可依据A/H识别动态调整交互内容，模拟临床访谈的适应性支持，从而提升干预效果。此外，其多模态特性也适用于教育、心理健康监测等需要细粒度情绪理解的场景。

数据集最近研究

最新研究方向

随着数字化健康干预的快速发展，BAH数据集为行为科学和计算机视觉交叉领域的研究提供了重要资源。该数据集专注于识别视频中的矛盾/犹豫情绪（Ambivalence/Hesitancy, A/H），这些情绪在行为改变干预中具有关键作用。当前研究重点包括多模态情感识别、实时行为分析以及个性化健康干预系统的开发。BAH数据集通过整合视觉、音频和文本信息，为开发自动识别A/H的机器学习模型提供了丰富的数据支持。其应用前景涵盖临床心理学、远程医疗和虚拟健康助手等领域，尤其在COVID-19后疫情时代，对非接触式心理健康评估具有重要意义。近期相关热点包括利用Transformer架构进行跨模态特征融合，以及探索零样本学习在稀缺标注场景下的应用。

相关研究论文

• BAH Dataset for Ambivalence/Hesitancy Recognition in Videos for Behavioural Change

  蒙特利尔行为医学中心, 加拿大蒙特利尔康考迪亚大学健康、运动与实用生理学系 · 2025年