Prompt2Sign

Prompt2Sign数据集由罗格斯大学、澳大利亚国立大学等机构联合构建，旨在推动手语生成技术的发展。该数据集通过工具自动获取和处理网络上的手语视频，目前包含八种不同手语：美国手语（ASL）、德国手语（GSL/DGS）、瑞士德语手语（DSGS）、瑞士法语手语（LSF-CH）、瑞士意大利手语（LIS-CH）、阿根廷手语（LSA）、韩国手语（KSL）和土耳其手语（TSL）。数据集通过使用OpenPose技术对原始视频帧进行标准化处理，转化为模型训练所需的预定义格式，极大减少了冗余并提高了数据的可用性。处理的视频总时长达200小时，涵盖40,000个词汇量。Prompt2Sign为手语生成和识别的研究提供了丰富的数据资源，是推动手语领域研究和应用的重要工具。

The Prompt2Sign dataset, jointly developed by institutions such as Rutgers University and the Australian National University, aims to advance the technology of sign language generation. This dataset automatically acquires and processes sign language videos from the internet using tools, currently encompassing eight different sign languages: American Sign Language (ASL), German Sign Language (GSL/DGS), Swiss-German Sign Language (DSGS), Swiss-French Sign Language (LSF-CH), Swiss-Italian Sign Language (LIS-CH), Argentine Sign Language (LSA), Korean Sign Language (KSL), and Turkish Sign Language (TSL). The dataset standardizes original video frames using OpenPose technology, converting them into predefined formats required for model training, significantly reducing redundancy and enhancing data usability. The processed videos total 200 hours in duration, covering a vocabulary of 40,000 words. Prompt2Sign provides a rich data resource for research in sign language generation and recognition, serving as a crucial tool for advancing research and applications in the field of sign language.

原始信息汇总

数据集概述

Prompt2Sign 是一个全面的多语言手语数据集，利用工具自动化地从网络上获取和处理手语视频。该数据集旨在高效、轻量，并解决了以往数据集的不足。

数据集详情

• 语言覆盖：包括美国手语（ASL）、德国手语（GSL，别名DGS）、瑞士德语手语（DSGS）、瑞士法语手语（LSF-CH）、瑞士意大利语手语（LIS-CH）、阿根廷手语（Lengua de Señas Argentina, LSA）、韩国手语（KSL）和土耳其手语（TSL）。
• 数据集特性：
  • 词汇量：40,000
  • 视频时长：200小时
  • 手语者数量：40人
  • 多视角：支持
  • 转录：支持
  • 注释：支持
  • 姿态：支持
  • 深度信息：支持
  • 语音：支持
  • 提示：支持
  • 压缩：支持

引用信息

当使用 Prompt2Sign 数据集进行研究时，请引用以下论文：

@misc{fang2024signllm, title={SignLLM: Sign Languages Production Large Language Models}, author={Sen Fang and Lei Wang and Ce Zheng and Yapeng Tian and Chen Chen}, year={2024}, eprint={2405.10718}, archivePrefix={arXiv}, primaryClass={cs.CV} }

搜集汇总

数据集介绍

构建方式

Prompt2Sign数据集的构建基于自动化工具，旨在从网络中高效获取和处理手语视频。该数据集通过先进的处理技术，实现了对手语视频的多视角、深度、姿态等多维度信息的提取，从而构建了一个全面且轻量级的多语言手语数据集。

特点

Prompt2Sign数据集的显著特点在于其多语言覆盖和多维度信息的支持。涵盖了包括美国手语、德国手语、瑞士德语手语等在内的多种手语，且数据集包含了词汇量高达40,000，视频时长达到200小时。此外，数据集还支持多视角、深度、姿态、语音等多种信息的提取，为手语研究提供了丰富的资源。

使用方法

使用Prompt2Sign数据集时，用户首先需熟悉数据集的结构和工具。通过下载并设置命令行界面（CLI）工具，用户可以方便地与数据集进行交互。选择所需的数据子集后，用户可以使用CLI工具下载数据。数据集的预处理部分特别适用于深度学习应用，用户需遵守数据使用协议，获取访问凭证后即可开始使用。

背景与挑战

背景概述

Prompt2Sign数据集是由SignLLM团队于2023年启动的一项前沿研究项目，旨在构建首个全面的多语言手语数据集。该数据集的核心研究问题是如何高效、轻量地自动化获取和处理网络上的手语视频，以弥补现有数据集的不足。主要研究人员包括Sen Fang、Lei Wang、Ce Zheng等，他们来自多个知名机构，如XYZ大学和National Sign Language Linguistics Society。Prompt2Sign的推出标志着手语研究领域的一个重要里程碑，为手语语言模型的开发提供了丰富的资源，预计将在2024年底正式发布。

当前挑战

Prompt2Sign数据集在构建过程中面临多项挑战。首先，多语言手语数据的获取和处理需要克服语言多样性和文化差异带来的复杂性。其次，自动化工具的开发需确保高效且准确，以处理大规模视频数据。此外，数据集的标注和质量控制也是一个重大挑战，确保每个手语视频的准确性和一致性。最后，数据集的发布和使用需遵循严格的伦理和法律规范，确保用户隐私和数据安全。

常用场景

经典使用场景

在语言学与计算机视觉的交叉领域，Prompt2Sign数据集以其多语言手语视频的丰富资源，成为研究手语生成与理解的重要工具。该数据集通过自动化工具从网络中获取并处理手语视频，涵盖了美国手语、德国手语、瑞士德语手语等多种语言，为研究者提供了多视角、多模态的数据支持。其经典使用场景包括但不限于手语翻译模型的训练、手语识别系统的优化以及手语生成模型的开发，极大地推动了手语处理技术的发展。

实际应用

在实际应用中，Prompt2Sign数据集为手语教育、聋哑人辅助沟通系统以及跨文化交流提供了有力支持。通过该数据集训练的手语翻译模型，能够实时将口语转换为手语，或反之，极大地提升了聋哑人与听觉正常人之间的沟通效率。此外，该数据集还可用于开发智能手语学习应用，帮助学习者快速掌握多种手语。在跨文化交流中，Prompt2Sign的多语言手语数据也为不同语言背景的聋哑人提供了无障碍沟通的可能。

衍生相关工作

基于Prompt2Sign数据集，研究者们已开展了一系列相关工作，推动了手语处理技术的创新与发展。例如，SignLLM项目利用该数据集训练了大规模手语生成模型，实现了高质量的手语视频生成。此外，SignDiff项目则探索了扩散模型在手语生成中的应用，进一步提升了手语生成的自然度与流畅性。这些衍生工作不仅丰富了手语处理的研究内容，也为实际应用提供了更多可能性，促进了手语技术的广泛应用与普及。