Hugging Rain Man

Hugging Rain Man 是一个用于分析自闭症谱系障碍儿童异常面部表情的面部动作单元数据集。该数据集包含131,758帧，分为1,535个片段，包含22个动作单元和10个动作描述符。数据集的标签由5人标注，面部表情通过3种算法的软投票获得。

Hugging Rain Man is a facial action unit dataset for analyzing abnormal facial expressions in children with autism spectrum disorder (ASD). This dataset contains 131,758 frames, which are divided into 1,535 segments, and includes 22 action units and 10 action descriptors. The dataset's labels were annotated by 5 annotators, and the facial expressions were obtained via soft voting from three algorithms.

原始信息汇总

Hugging Rain Man: A Novel Dataset for Analyzing Facial Action Units in Children with Autism Spectrum Disorder

数据集概述

• 总帧数: 131,758
• 片段数: 1,535
• 动作单元和动作描述符: 22个AU + 10个AD
• 异常评分: 由5人标注
• 面部表情: 通过3种算法的软投票获得

数据集描述

标签、机器提取特征和预训练模型

• 模型: ResNet-50, EmoFAN, ME-GraphAU, MAE-Face, FMAE
• 训练数据: HRM数据集
• 选择的22个AU/AD用于检测: AU1, AU2, AU4, AU6, AU7, AU9, AU10, AU12, AU14, AU15, AU16, AU17, AU18, AD19, AU20, AU23, AU24, AU25, AU2X (AU26/27), AU28, AD32, AU43E
• 选择的17个AU/AD用于检测: AU1, AU2, AU4, AU6, AU7, AU9, AU10, AU12, AU14, AU15, AU16, AU17, AU20, AU23, AU24, AU25, AU2X (AU26/27)
• 性能指标: 准确率, F1-Score
• 机器提取特征: InsightFace和OpenFace特征（5个关键点、头部姿态和边界框等）

AU检测基线

• 22个AU: 图片展示
• 17个AU: 图片展示

下载链接

• 百度云: 下载链接, pwd:CCNU
• Mega云（仅预训练模型）: 下载链接

数据格式

• AU标签: CSV文件，包含帧号、AU激活、基本面部表情类别和异常评分
• 预训练模型: PyTorch .pth 文件
• 机器提取特征: .csv 文件

预训练模型使用

• 可以通过修改每个模型的“评估”方法来更改输出维度为17或22
• 也可以使用提供的代码片段在Predict目录中执行单张图像AU测试

AU/AD标注工具

• 提供了一个AU标注工具，需要预先安装PySimpleGUI库
• 按钮: 打开数据路径、确认、清除复选框、提交
• LRTB输入框: 输入AU的方向

致谢

感谢以下优秀的开源项目: JAA-Net, EmoFAN, EmoFAN4AU-Detection, ME-GraphAU, MAE-Face, FMAE, EAC, Poster++, DDAMFN++

引用

如果数据或方法对您的研究有帮助，请引用以下论文:

@article{ji2024hugging, title={Hugging Rain Man: A Novel Facial Action Units Dataset for Analyzing Atypical Facial Expressions in Children with Autism Spectrum Disorder}, author={Yanfeng Ji, Shutong Wang, Ruyi Xu, Jingying Chen, Xinzhou Jiang, Zhengyu Deng, Yuxuan Quan, Junpeng Liu}, journal={arXiv preprint arXiv:2411.13797}, year={2024} }

搜集汇总

数据集介绍

构建方式

在构建Hugging Rain Man数据集时，研究者们精心收集了131,758帧图像，并将其组织成1,535个片段。这些图像主要用于分析自闭症谱系障碍（ASD）儿童的面部动作单元（AU）。尽管出于隐私和伦理考虑，图像本身暂未公开，但数据集提供了22个AU和10个动作描述符（AD）的标注，以及通过软投票机制结合三种算法获得的面部表情分类。此外，数据集还包括由五名专家标注的非典型表情评级，确保了数据的高质量和多样性。

特点

Hugging Rain Man数据集的显著特点在于其专注于自闭症谱系障碍儿童的面部表情分析。数据集不仅包含了丰富的AU和AD标注，还提供了多种预训练模型，如ResNet-50、EmoFAN、ME-GraphAU等，这些模型在HRM数据集上进行了训练，能够有效检测和回归非典型表情。此外，数据集还提供了机器提取的特征，如InsightFace和OpenFace的5个关键点、头部姿态和边界框等，这些特征为研究者提供了多维度的分析工具。

使用方法

使用Hugging Rain Man数据集时，研究者可以通过提供的预训练模型进行面部动作单元的检测和非典型表情的回归。数据集的AU标签以CSV文件格式提供，包含帧号、AU激活状态、基本面部表情类别和非典型评级等信息。预训练模型以PyTorch的.pth文件格式提供，用户可以通过修改模型的评估方法来调整输出维度。此外，数据集还提供了代码片段，方便用户进行单张图像的AU测试。对于缺失的库，用户可以参考原始项目库进行补充。

背景与挑战

背景概述

在自闭症谱系障碍（ASD）研究领域，面部动作单元（AU）的分析对于理解儿童的情感表达和社交互动具有重要意义。Hugging Rain Man数据集由Yanfeng Ji等研究人员于2024年创建，专注于分析ASD儿童的面部动作单元和动作描述符。该数据集包含131,758帧，分为1,535个片段，涵盖22个AU和10个AD。尽管图像因隐私和伦理原因暂不公开，但其标注的AU标签和预训练模型为研究者提供了宝贵的资源，推动了儿童面部表情分析技术的发展。

当前挑战

Hugging Rain Man数据集在构建过程中面临多重挑战。首先，隐私和伦理问题是数据集公开的主要障碍，确保儿童隐私的同时提供研究资源是一大挑战。其次，AU和AD的标注需要高度专业性，确保标注的准确性和一致性。此外，数据集的多样性和代表性也是关键问题，确保涵盖不同文化背景和年龄段的ASD儿童。最后，预训练模型的性能和泛化能力需要持续优化，以适应不同应用场景的需求。

常用场景

经典使用场景

在儿童自闭症谱系障碍（ASD）研究领域，Hugging Rain Man数据集的经典使用场景主要集中在面部动作单元（AU）和动作描述符（AD）的分析上。该数据集通过提供131,758帧的AU和AD标签，以及预训练模型，支持研究人员对ASD儿童面部表情的深入解析。这些分析不仅有助于理解ASD儿童的非语言交流障碍，还为开发针对性的干预措施提供了数据基础。

衍生相关工作

基于Hugging Rain Man数据集，研究者们开发了多种面部表情识别和分析模型，如ResNet-50、EmoFAN、ME-GraphAU等。这些模型不仅在学术界引起了广泛关注，还被应用于多个实际项目中。例如，JAA-Net和EmoFAN4AU-Detection等项目利用该数据集进行模型训练和优化，显著提升了面部表情识别的准确率。这些衍生工作进一步推动了ASD研究和相关技术的应用。

数据集最近研究

最新研究方向

在自闭症谱系障碍（ASD）儿童面部表情分析领域，Hugging Rain Man数据集的最新研究方向主要集中在面部动作单元（AU）的精确检测与异常表情回归模型的优化。该数据集通过提供丰富的AU标签和预训练模型，推动了针对ASD儿童面部表情特征的深入研究。研究者们利用ResNet-50、EmoFAN等先进模型，结合InsightFace和OpenFace提取的特征，致力于提高AU检测的准确性和F1分数。此外，数据集的发布也促进了多算法融合在面部表情分析中的应用，为ASD儿童的早期诊断和干预提供了新的技术支持。