RWTH-PHOENIX-Weather 2014, RWTH-PHOENIX-Weather 2014 T

这些数据集适用于多种手语处理任务，包括手语识别、翻译和生成。RWTH-PHOENIX-Weather 2014包含连续手语和手语词汇，而RWTH-PHOENIX-Weather 2014 T在此基础上增加了德语翻译。

These datasets are suitable for various sign language processing tasks, including sign language recognition, translation, and generation. The RWTH-PHOENIX-Weather 2014 dataset encompasses continuous sign language and sign language vocabulary, while the RWTH-PHOENIX-Weather 2014 T dataset extends this by incorporating German translations.

原始信息汇总

数据集概述

数据集名称

• Sign Language Datasets

数据集用途

• 适用于多种手语处理任务，包括手语识别、翻译和生成。

数据集创建方法

• 使用LMDB数据库格式，所有帧转换为JPG格式并保存为二进制文件，以节省空间并优化加载。

具体数据集详情

RWTH-PHOENIX-Weather 2014 (德国手语)

• 关键词: 连续手语, 手语词汇
• 数据库格式: LMDB
• 图像尺寸:
  • fullFrame-210x260px
  • trackedRightHand-92x132px
• 数据转换脚本:
  • lmdb_ph14_full_rgb.py 用于fullFrame图像
  • lmdb_ph14_hand_rgb.py 用于trackedRightHand图像

RWTH-PHOENIX-Weather 2014 T (德国手语)

• 关键词: 连续手语, 手语词汇, 德语翻译
• 数据库格式: LMDB
• 图像尺寸: fullFrame-210x260px
• 数据转换脚本: lmdb_ph14-t_full_rgb.py

姿态标注

• 方法: 使用HRNet进行自动姿态标注
• 数据格式: 上体关键点数组(T, 7, 2)，存储于Dict中，索引为视频名称
• 关键点记录方式: (w, h)，归一化至[0, 1]
• 下载链接:
  • PHOENIX-2014: GoogleDrive
  • PHOENIX-2014-T: GoogleDrive

读取示例

python import pickle as pkl with open(pose_phoenix2014_up_hrnet_TxN_wh.pkl, rb) as f: dict_pose = pkl.load(f) print(dict_pose[01April_2010_Thursday_heute_default-0].shape)

搜集汇总

数据集介绍

构建方式

RWTH-PHOENIX-Weather 2014及其扩展版本RWTH-PHOENIX-Weather 2014 T数据集的构建采用了高效的LMDB数据库格式，以确保数据存储的空间效率和加载速度。所有视频帧首先被转换为JPG格式，随后以二进制文件的形式存储在LMDB数据库中。此外，数据集还包含了通过HRNet模型自动生成的上体姿态标注，这些标注以(T, 7, 2)的数组形式存储，每个关键点被记录为(w, h)并归一化至[0, 1]范围内。

特点

该数据集的显著特点在于其包含了连续手语视频及其对应的符号词汇标注，适用于手语识别、翻译和生成等多项任务。RWTH-PHOENIX-Weather 2014 T版本进一步增加了德语翻译，增强了数据集的多样性和应用范围。此外，数据集中的姿态标注为研究手语的动态特性提供了丰富的信息，使得该数据集在手语处理领域具有重要的研究价值。

使用方法

使用该数据集时，用户可以通过提供的脚本将原始数据转换为LMDB格式，以便于高效存储和快速加载。具体操作包括指定源数据路径和目标LMDB存储路径，并可选择性地设置临时图像存储路径。此外，姿态标注数据可通过Python的pickle库进行读取和解析，便于进一步的数据处理和分析。

背景与挑战

背景概述

RWTH-PHOENIX-Weather 2014及其扩展版本RWTH-PHOENIX-Weather 2014 T是由德国亚琛工业大学计算机科学系的研究团队创建的，专注于德语手语（German Sign Language, GSL）的数据集。该数据集的创建旨在推动手语识别、翻译和生成等任务的研究，特别是在连续手语处理领域。核心研究问题包括如何有效地捕捉和解析手语的动态特征，以及如何将手语与自然语言进行准确翻译。该数据集的发布对计算机视觉和自然语言处理领域产生了深远影响，尤其是在手语处理技术的进步方面。

当前挑战

RWTH-PHOENIX-Weather 2014及其扩展版本在构建过程中面临多项挑战。首先，手语的动态性和复杂性使得数据采集和标注变得极为困难，尤其是在捕捉手势的细微变化和连续性方面。其次，数据集的存储和加载优化也是一个重要挑战，研究团队采用了LMDB数据库技术以提高数据处理效率。此外，手语与自然语言的翻译问题，尤其是德语手语与德语的翻译，涉及语言学和计算机科学的交叉领域，如何实现高精度的翻译仍然是一个未完全解决的难题。

常用场景

经典使用场景

RWTH-PHOENIX-Weather 2014及其扩展版本RWTH-PHOENIX-Weather 2014 T，作为德语手语数据集，广泛应用于手语识别、翻译和生成任务。其经典使用场景包括对手语视频的连续帧进行分析，提取手势动作的关键帧，并通过深度学习模型对手语进行自动标注和翻译。此外，数据集还支持手语生成任务，通过模型生成自然流畅的手语视频，为手语教学和交流提供技术支持。

解决学术问题

该数据集解决了手语处理领域中的多个关键学术问题，如手语识别的准确性、手语翻译的自然流畅性以及手语生成的逼真度。通过提供高质量的手语视频和相应的标注数据，RWTH-PHOENIX-Weather 2014系列数据集为研究者提供了丰富的实验材料，推动了手语处理技术的发展，特别是在神经网络和深度学习模型的应用上，显著提升了手语识别和翻译的性能。

衍生相关工作

基于RWTH-PHOENIX-Weather 2014系列数据集，研究者们开展了多项经典工作。例如，Camgoz等人在CVPR 2018上提出了基于神经网络的手语翻译模型，显著提升了手语翻译的准确性和流畅性。此外，STMC（AAAI 2020）中使用HRNet进行自动姿态标注，进一步丰富了数据集的应用场景。这些工作不仅推动了手语处理技术的发展，也为相关领域的研究提供了新的思路和方法。