Facial Expression Phoenix (FePh)

Facial Expression Phoenix (FePh) 数据集是由中佛罗里达大学工业工程与管理系统系创建的，包含超过3000张面部表情图像，这些图像来自公共电视台PHOENIX的日常新闻和天气预报。FePh数据集不同于其他面部表情数据集，它提供了具有不同头部姿势、方向和运动的半模糊序列面部图像。此外，大多数图像中的身份正在口述单词，这使得数据更具挑战性。该数据集通过考虑七种基本情绪（悲伤、惊讶、恐惧、愤怒、中性、厌恶和快乐）的主要、次要和三级对来注释。FePh数据集不仅适用于手语识别，还广泛应用于手势识别和人类计算机交互(HCI)系统，旨在解决多模态手语和手势识别的问题。

The Facial Expression Phoenix (FePh) dataset was created by the Department of Industrial Engineering and Management Systems at the University of Central Florida. It contains over 3,000 facial expression images sourced from daily news and weather broadcasts of the public television station PHOENIX. Distinct from most existing facial expression datasets, FePh provides semi-blurred sequential facial images with varying head poses, orientations and movements. Furthermore, the subjects in most of the images are articulating words, which renders the dataset more challenging. The dataset is annotated by considering primary, secondary, and tertiary emotional pairs across the seven basic emotions: sadness, surprise, fear, anger, neutral, disgust, and happiness. The FePh dataset is not only applicable to sign language recognition, but also widely utilized in gesture recognition and human-computer interaction (HCI) systems, aiming to address the challenges in multimodal sign language and gesture recognition.

搜集汇总

数据集介绍

构建方式

FePh数据集的构建始于RWTH-PHOENIX-Weather 2014多语言者数据集，这是一个包含超过1200个手语词汇的连续手语图像语料库。数据集由来自德国公共电视台PHOENIX的日常新闻和天气预报中的3000多张面部图像组成。这些图像通过面部识别技术自动检测、跟踪和裁剪，以减少手部姿势对手部表情的影响。随后，由12名标注员对每个静态图像进行标注，包括情绪、可见性和性别。情绪标注考虑了七个基本情绪及其主要、次要和三级二重奏。为了确保标注的一致性，使用了Labelbox标注工具的自动共识选项，多个标注员对60%的数据进行标注，并根据多数票选择最终标签。

使用方法

FePh数据集的使用方法包括下载Harvard Dataverse上的图像和标签文件。图像存储在“FePh_images.zip”中，而标签和性别标签存储在“FePh_labels.csv”文件中，其中面部表情标签以代码形式存储。用户可以依据这些代码将标签转换回相应的情绪描述。对于计算机视觉领域的先进学习技术，由于数据集的图像数量可能不足以进行充分的学习，因此建议用户从数据集中选择匹配的样本进行训练。此外，数据集的多样性和复杂性使其成为研究手语和手势识别中多模态学习的重要资源。

背景与挑战

背景概述

在当代社会，手语作为一种自然语言，在聋人交流中扮演着至关重要的角色。手语通过手部动作、姿态和面部表情的结合，传递着复杂的信息和情感。然而，尽管手语的重要性日益凸显，但在手语识别系统中，面部表情的研究相对不足，主要原因之一是缺乏相应的标注面部表情数据集。为了填补这一空白，Marie Alaghband, Niloofar Yousefi 和 Ivan Garibay 等研究人员创建了 Facial Expression Phoenix (FePh) 数据集。FePh 是一个基于手语的视频序列中提取的面部表情数据集，它提供了超过 3000 张面部图像，这些图像具有不同的头部姿势、方向和运动。FePh 的创建旨在为手语识别和情感分析提供丰富的数据资源，并促进多模态手语识别模型的发展。

当前挑战

FePh 数据集在构建过程中面临了多个挑战。首先，手语中的面部表情往往伴随着嘴型的变化，这使得面部表情的标注变得更加复杂。其次，图像质量较低和模糊，以及面部表情的歧义性增加了标注的难度。此外，由于标注者之间的个人差异，以及面部表情的类内差异和类间相似性，也增加了标注的不一致性。为了解决这些挑战，研究团队采用了自动共识选项，要求多个标注者对数据进行标注，并选择多数票作为最终标签。在未来的研究中，需要进一步探索更精确的标注方法和更先进的数据增强技术，以提高数据集的质量和适用性。

常用场景

经典使用场景

在表情识别与手语识别领域，Facial Expression Phoenix (FePh) 数据集扮演着至关重要的角色。该数据集的亮点在于其包含了一系列半模糊的面部图像，这些图像展现了不同的头部姿势、方向和运动。这使得FePh数据集不仅适用于手语表情的识别，还广泛用于手势识别和人类计算机交互（HCI）系统。FePh数据集的典型使用场景包括对手语中面部表情的识别与分析，以及对手语视频中的手势和表情进行多模态识别。

解决学术问题

FePh数据集的引入解决了手语识别领域中面部表情数据集稀缺的问题。在以往的研究中，尽管手语中的手势识别研究已经取得了一定的进展，但是对手语中面部表情的识别研究却相对较少。FePh数据集的发布为研究手语中面部表情的识别提供了重要的数据支持，使得研究人员能够更深入地研究手语中的面部表情与手势之间的关系，从而提高手语识别系统的准确性和可靠性。

实际应用

FePh数据集的实际应用场景包括但不限于手语教学、手语识别辅助设备、以及人类计算机交互（HCI）系统。在手语教学中，FePh数据集可以帮助学生更好地理解手语中的面部表情和手势，从而提高手语学习的效率和效果。在手语识别辅助设备中，FePh数据集可以用于开发更准确的手语识别系统，帮助听力障碍人士更好地与他人进行交流。在人类计算机交互（HCI）系统中，FePh数据集可以用于开发更自然的人机交互界面，从而提高人机交互的体验和效率。

数据集最近研究

最新研究方向

面部表情识别技术在手语识别和人类计算机交互（HCI）领域的前沿研究方向主要集中在多模态数据的融合和深度学习算法的应用。FePh数据集的引入为这些研究方向提供了重要的数据支持，其包含了真实场景中提取的超过3000张面部图像，这些图像具有不同的头部姿态、方向和运动，并包含了说话者的唇语信息，这使得数据集更具挑战性。FePh数据集不仅包含了七种基本情绪的表达，还考虑了这些情绪的初级、次级和三级配对，为研究面部表情的复杂性和多样性提供了宝贵资源。此外，FePh数据集还揭示了手语中手部动作与面部表情之间的关联，为多模态手势识别和HCI系统的研究提供了新的视角。未来研究将着重于应用多模态学习和计算机视觉技术，将FePh数据集与RWTH-PHOENIX-Weather 2014 MS Handshapes数据集相结合，以提升手语和手势识别的准确性和效率。

相关研究论文

• Facial Expression Phoenix (FePh): An Annotated Sequenced Dataset for Facial and Emotion-Specified Expressions in Sign Language

  中佛罗里达大学工业工程与管理系统系 · 2020年