PHOENIX-2014, PHOENIX-2014-T|手语识别数据集|机器学习数据集

PHOENIX-2014和PHOENIX-2014-T是德国RWTH Aachen大学人类语言技术与模式识别小组开发的大型德语手语数据集。这些数据集广泛用于研究，本仓库提供了这两个数据集的PyTorch数据集包装器，以便于在PyTorch模型中使用这些数据集。

The PHOENIX-2014 and PHOENIX-2014-T are large-scale German sign language datasets developed by the Human Language Technology and Pattern Recognition Group at RWTH Aachen University in Germany. These datasets are widely used in research. This repository provides PyTorch dataset wrappers for these two datasets to facilitate their use in PyTorch models.

原始信息汇总

PHOENIX Datasets 概述

数据集介绍

PHOENIX-2014 和 PHOENIX-2014-T 是由德国亚琛工业大学的人类语言技术与模式识别组开发的大型德语手语数据集。本包为这两个数据集提供了一个 PyTorch 数据集包装器，以便于在 PyTorch 模型上使用这些数据集。

数据集功能

• 加载 PHOENIX-2014 的自动对齐
• 随机/均匀帧丢弃增强
• PHOENIX-2014 的评估
• 语言模型支持

数据集使用示例

数据集加载

python from phoenix_datasets import PhoenixVideoTextDataset from torch.utils.data import DataLoader

dtrain = PhoenixVideoTextDataset( root="data/phoenix-2014-multisigner", split="train", p_drop=0.5, random_drop=True, random_crop=True, base_size=[256, 256], crop_size=[224, 224], )

vocab = dtrain.vocab

dl = DataLoader(dtrain, collate_fn=dtrain.collate_fn)

for batch in dl: video = batch["video"] label = batch["label"] signer = batch["signer"]

print(len(video))
print(video[0].shape)
print(label[0].shape)
print(signer)

break

数据集评估

python from phoenix_datasets.evaluators import PhoenixEvaluator

evaluator = PhoenixEvaluator("data/phoenix-2014-multisigner") hyp = evaluator.corpus.load_data_frame("dev")["annotation"].apply(" ".join).tolist() hyp[0] = "THIS SENTENCE IS WRONG" results = evaluator.evaluate("dev", hyp) print(results["parsed_dtl"]) print(results["sum"])

待办事项

• 实现 PHOENIX-2014-T 的语料库和评估

AI搜集汇总

数据集介绍

构建方式

PHOENIX-2014和PHOENIX-2014-T数据集由德国亚琛工业大学的人类语言技术与模式识别小组开发，专注于德语手语的大规模数据收集。这些数据集通过采集手语视频和相应的文本标注，构建了一个包含视频、文本和手语者信息的完整数据框架。数据集的构建过程中，采用了自动对齐技术，确保视频帧与文本标注之间的精确对应，从而为手语识别和翻译任务提供了高质量的训练和测试数据。

特点

PHOENIX-2014和PHOENIX-2014-T数据集的显著特点在于其大规模和多样性。数据集不仅包含了丰富的手语视频，还提供了详细的文本标注，支持多种语言模型的训练。此外，数据集支持随机或均匀的帧丢弃增强技术，增强了模型的鲁棒性。评估方面，数据集提供了官方的WER计算工具，确保了评估结果的准确性和一致性。

使用方法

使用PHOENIX-2014和PHOENIX-2014-T数据集时，用户可以通过PyTorch数据集包装器轻松加载数据，并进行模型训练和评估。数据集支持多种数据增强技术，如随机丢帧和随机裁剪，以提高模型的泛化能力。评估过程中，用户可以利用内置的评估工具进行WER计算，确保模型性能的准确衡量。此外，数据集还提供了语言模型支持，进一步扩展了其应用范围。

背景与挑战

背景概述

PHOENIX-2014和PHOENIX-2014-T是由德国亚琛工业大学的人类语言技术与模式识别小组开发的大型德语手语数据集。这两个数据集的创建旨在推动手语识别和理解的研究，特别是在视频和文本对齐方面的应用。自发布以来，这些数据集已成为手语处理领域的重要资源，为研究人员提供了丰富的手语视频和对应的文本数据，极大地促进了手语识别和翻译技术的发展。

当前挑战

PHOENIX-2014和PHOENIX-2014-T数据集在构建和应用过程中面临多项挑战。首先，手语的多样性和复杂性使得视频与文本的对齐任务异常困难，尤其是在处理不同手语者的表达方式时。其次，数据集的构建需要大量的标注工作，确保每个手语动作与文本的精确对应，这对标注的准确性和一致性提出了高要求。此外，如何在保持数据多样性的同时，确保数据集的规模和质量，也是构建过程中的一大挑战。在应用层面，如何利用这些数据集训练出高效的手语识别模型，并实现跨语言的翻译，仍然是一个亟待解决的问题。

常用场景

经典使用场景

PHOENIX-2014及其扩展版本PHOENIX-2014-T是德国手语领域的重要数据集，广泛应用于手语识别与翻译任务。通过结合视频和文本数据，研究者能够训练模型以自动识别和转录手语动作，从而实现从手语到文本的转换。这一数据集的经典使用场景包括手语识别模型的训练与评估，尤其是在多模态学习框架下，结合视觉与语言信息进行深度学习模型的构建与优化。

解决学术问题

PHOENIX-2014数据集的引入，有效解决了手语识别领域中多模态数据融合与处理的学术难题。通过提供高质量的视频与文本对齐数据，该数据集为研究者提供了丰富的资源，以探索如何将视觉信息与语言模型相结合，从而提升手语识别的准确性与鲁棒性。这一贡献对手语翻译技术的进步具有重要意义，推动了相关领域的发展。

衍生相关工作

基于PHOENIX-2014数据集，研究者们开展了多项经典工作，推动了手语识别与翻译技术的进步。例如，有研究通过该数据集训练深度学习模型，实现了高效的手语动作识别；还有工作利用数据集中的文本信息，构建了手语语言模型，进一步提升了翻译的准确性。这些衍生工作不仅丰富了手语识别领域的研究内容，也为相关技术的实际应用奠定了坚实基础。