Combined Facial Action Unit Datasets

本研究结合了多个面部动作单元数据集，旨在增强机器学习算法训练数据的多样性和数量，以提高多标签动作单元检测模型的鲁棒性。数据集包含来自不同研究的多样的面部动作单元标注，总计约570,053条记录。创建过程中，研究者手动定义了每个数据集的动作单元标注，并统一了标注系统。该数据集主要应用于安全关键领域，如驾驶辅助系统中的驾驶员监控和医疗领域的疼痛监测，以解决现有数据稀缺和标注不一致的问题。

This study integrates multiple facial action unit (AU) datasets to augment the diversity and scale of training data for machine learning algorithms, thus enhancing the robustness of multi-label AU detection models. The dataset encompasses diverse facial AU annotations sourced from various research studies, with a total of approximately 570,053 records. During the dataset development process, researchers manually defined the action unit annotations for each individual dataset and unified the annotation schema. This dataset is primarily applied in safety-critical domains, such as driver monitoring in driving assistance systems and pain monitoring in the medical field, to address the prevailing issues of data scarcity and inconsistent annotations.

搜集汇总

数据集介绍

构建方式

在面部动作单元研究领域，数据稀缺性长期制约着模型的泛化能力。本数据集通过整合六个异构数据库构建而成，涵盖Actor Study、Aff-Wild2、BP4D、CK+、EmotioNet manual和UNBC等来源。构建过程采用元数据库标准化策略，首先依据原始文献人工定义各数据集标注的动作单元范围，随后对原始标注文件进行一致性校验与错误排查，最终通过Python pandas框架将异构标注转换为统一格式的标签向量。该流程保留了图像文件路径、元数据与动作单元标签的完整映射关系，形成包含570,053张训练图像与104,545张测试图像的多源融合数据库。

特点

该数据集最显著的特征在于其标注矩阵中存在高达69.07%的缺失值，这源于各原始数据集对动作单元子集的选择性标注差异。数据构成呈现多维度异质性：既包含实验室环境下受控采集的标准化数据，也涵盖自然场景中具有复杂光照与背景的野外数据；既包含专业演员的表演性表情，也包含真实场景中自然发生的微表情。这种结构使得数据集同时具备动作单元标注的稀疏性与数据分布多样性，为研究缺失标签下的多标签学习提供了理想实验环境。数据经过多标签平衡优化处理，确保每个动作单元在训练集中至少出现20,000次，有效缓解了类别不平衡问题。

使用方法

使用本数据集需采用专门设计的缺失标签处理机制。在训练过程中，通过掩码技术将缺失标签从损失函数计算中排除，仅基于真实标注值进行梯度更新。评估时采用可微分的宏观F1分数作为损失函数，配合准确率构成双指标评价体系。具体实施时需对每个动作单元独立处理缺失标签，在计算损失与指标前删除预测向量与真实向量中对应缺失维度的行数据。建议采用VGG16等预训练网络架构，在冻结卷积层后微调全连接层，使用Adam优化器与0.0001学习率进行30轮训练。数据预处理需将像素值归一化至[0,1]区间，并剔除对选定动作单元全为未知标注的面部图像。

背景与挑战

背景概述

面部动作单元数据集为客观描述面部微表情提供了标准化框架，在情感计算与人机交互领域具有重要价值。2020年，弗劳恩霍夫集成电路研究所与班贝格大学的研究团队通过整合Actor Study、Aff-Wild2、BP4D等六个异构数据集，构建了首个面向多标签学习的综合面部动作单元数据库。该研究旨在解决传统动作单元标注成本高昂导致的训练数据稀缺问题，通过融合实验室环境与自然场景下的多样化样本，为构建鲁棒性动作单元检测模型提供了关键数据基础，显著推动了跨场景面部行为分析技术的发展。

当前挑战

该数据集面临的核心挑战在于多标签缺失值处理与数据异构性整合。在领域问题层面，动作单元检测需应对自然场景下面部姿态、光照变化及遮挡等复杂因素，同时需解决多标签分类中类别不平衡与标签共现关系的建模难题。在构建过程中，各源数据集标注标准存在显著差异，包括动作单元子集选择不一致、强度标注体系不统一以及视频序列标注粒度不同等问题，导致合并后缺失标签比例高达69.07%。此外，实验室数据与野外数据的分布差异、表演性表情与自然表情的语义鸿沟，以及跨数据集的人种、年龄等人口统计学偏差，均为构建高质量融合数据库带来严峻挑战。

常用场景

经典使用场景

在面部行为单元检测领域，数据稀缺与标注不一致是长期存在的挑战。Combined Facial Action Unit Datasets通过整合多个异构数据集，构建了一个大规模、多样化的元数据库，为多标签学习提供了丰富的训练样本。该数据集最经典的使用场景在于训练能够处理大量缺失标签的深度学习模型，使模型在实验室与自然场景下均能稳健识别面部微动作，从而推动自动化面部行为分析的发展。

衍生相关工作

该数据集的构建理念与方法催生了一系列相关研究，特别是在多标签学习与缺失值处理领域。例如，后续工作借鉴其标签掩码策略，开发了更高效的平衡优化器以应对类别不平衡问题。同时，该数据集也为Aff-Wild2、EmotioNet等公开挑战赛提供了基准比较，推动了如注意力机制、关系学习等先进模型在面部行为单元识别中的应用，促进了跨数据集学习与领域自适应技术的进一步发展。

数据集最近研究

最新研究方向

在面部行为单元检测领域，多源数据集融合已成为提升模型泛化能力的关键路径。当前研究聚焦于处理融合数据集中普遍存在的标签缺失问题，通过设计能够直接利用部分标注数据的训练机制，避免对缺失值进行推断或填充。前沿工作探索了基于掩码技术的损失函数与评估指标，使模型能够在高达69%的缺失标签比例下保持稳定学习。这一方向显著推动了跨数据集、跨场景的鲁棒性面部微表情分析，为驾驶监控、医疗疼痛评估等安全关键应用提供了更可靠的算法基础。

相关研究论文

• Multi-label Learning with Missing Values using Combined Facial Action Unit Datasets

  智能系统组，弗劳恩霍夫集成电路研究所IIS，埃尔兰根，德国；认知系统组，班贝格大学，班贝格，德国 · 2020年