WLASL, DGS Kinect 40, RWTH-PHOENIX-Weather, SIGNUM, GSL 20, Boston ASL LVD, PSL Kinect 30, PSL ToF 84, PSL 101, LSA64, BosphorusSign, MSR Gesture 3D, DEVISIGN-G, DEVISIGN-D, DEVISIGN-L, IIITA -ROBITA, Purdue ASL, CUNY ASL, SignsWorld Atlas

这些数据集用于机器学习研究，涵盖了不同国家和语言的手语数据，包括视频和深度数据，用于手语识别和理解的研究。

These datasets are utilized for machine learning research, encompassing sign language data from various countries and languages, including video and depth data, aimed at advancing the study of sign language recognition and comprehension.

原始信息汇总

数据集概述

主要数据集列表

1. DGS Kinect 40

• 国家: 德国
• 类别数: 40
• 参与者数: 15
• 样本数: 3000
• 数据类型: 视频
• 语言级别: 单词
• 可用性: 公开
• 数据存储: 硬盘

2. RWTH-PHOENIX-Weather

• 国家: 德国
• 类别数: 1200
• 参与者数: 9
• 样本数: 45760
• 数据大小: 52GB
• 数据类型: 视频
• 语言级别: 句子
• 可用性: 公开
• 数据存储: 硬盘

3. SIGNUM

• 国家: 德国
• 类别数: 450
• 参与者数: 25
• 样本数: 33210
• 数据大小: 920GB
• 数据类型: 视频
• 可用性: 公开
• 数据存储: 无

4. GSL 20

• 国家: 希腊
• 类别数: 20
• 参与者数: 6
• 样本数: 约840
• 数据类型: 视频
• 可用性: 联系作者
• 数据存储: 硬盘

5. Boston ASL LVD

• 国家: 美国
• 类别数: 3300+
• 参与者数: 6
• 样本数: 9800
• 数据类型: 视频
• 语言级别: 单词
• 可用性: 公开
• 数据存储: 无

6. PSL Kinect 30

• 国家: 波兰
• 类别数: 30
• 参与者数: 1
• 样本数: 300
• 数据大小: 约1.2GB
• 数据类型: 视频
• 语言级别: 单词
• 可用性: 公开
• 数据存储: 硬盘

7. PSL ToF 84

• 国家: 波兰
• 类别数: 84
• 参与者数: 1
• 样本数: 1680
• 数据大小: 约33GB
• 数据类型: 视频
• 语言级别: 单词
• 可用性: 公开
• 数据存储: 无

8. PSL 101

• 国家: 波兰
• 类别数: ?
• 参与者数: ?
• 样本数: ?
• 数据类型: ?
• 可用性: 联系作者
• 数据存储: 无

9. LSA64

• 国家: 阿根廷
• 类别数: 64
• 参与者数: 10
• 样本数: 3200
• 数据大小: 20GB
• 数据类型: 视频(RGB)
• 可用性: 公开
• 数据存储: 硬盘

10. BosphorusSign

• 国家: 土耳其
• 类别数: 无
• 参与者数: 无
• 样本数: 无
• 数据类型: 无
• 可用性: 不可用
• 数据存储: 无

11. MSR Gesture 3D

• 国家: 美国
• 类别数: 12
• 参与者数: 10
• 样本数: 336
• 数据大小: 28MB
• 数据类型: 视频(深度)
• 可用性: 公开
• 数据存储: 无

12. DEVISIGN-G

• 国家: 中国
• 类别数: 36
• 参与者数: 8
• 样本数: 432
• 数据类型: 视频(RGB)
• 可用性: 联系作者
• 数据存储: 无

13. DEVISIGN-D

• 国家: 中国
• 类别数: 500
• 参与者数: 8
• 样本数: 6000
• 数据类型: 视频(RGB)
• 可用性: 联系作者
• 数据存储: 无

14. DEVISIGN-L

• 国家: 中国
• 类别数: 2000
• 参与者数: 8
• 样本数: 24000
• 数据类型: 视频(RGB)
• 可用性: 联系作者
• 数据存储: 无

15. IIITA -ROBITA

• 国家: 印度
• 类别数: 23
• 参与者数: ?
• 样本数: 无
• 数据大小: 284MB
• 数据类型: 视频(RGB)
• 可用性: 联系作者
• 数据存储: 无

16. Purdue ASL

• 国家: 美国
• 类别数: ?
• 参与者数: 14
• 样本数: ?
• 数据类型: 视频
• 语言级别: 单词/句子
• 可用性: 联系作者
• 数据存储: 无

17. CUNY ASL

• 国家: 美国
• 类别数: ?
• 参与者数: 8
• 样本数: 约33000
• 数据类型: 视频(RGB)
• 语言级别: 句子
• 可用性: 未知
• 数据存储: 无

18. SignsWorld Atlas

• 国家: 阿拉伯
• 类别数: 无
• 参与者数: 10
• 样本数: 无
• 数据类型: 视频
• 语言级别: 单词, 句子, 手形
• 可用性: 未知
• 数据存储: 无

手势特征数据集

1. ASL Fingerspelling A

• 国家: 美国
• 类别数: 24
• 参与者数: 5
• 样本数: 131000
• 数据大小: 2.1GB
• 数据类型: 图像(深度+RGB)
• 可用性: 免费下载

2. ASL Fingerspelling B

• 国家: 美国
• 类别数: 24
• 参与者数: 9
• 样本数: 无
• 数据大小: 317MB
• 数据类型: 图像(深度)
• 可用性: 免费下载

3. LSA16 handshapes

• 国家: 阿根廷
• 类别数: 16
• 参与者数: 10
• 样本数: 800
• 数据大小: 7MB
• 数据类型: 图像(RGB)
• 可用性: 免费下载

4. PSL Fingerspelling ToF

• 国家: 波兰
• 类别数: 16
• 参与者数: 3
• 样本数: 960
• 数据大小: 约290MB
• 数据类型: 3D点云
• 可用性: 免费下载

5. ISL

• 国家: 爱尔兰
• 类别数: 23
• 参与者数: 6
• 样本数: 58114帧/468视频
• 数据大小: 170MB
• 数据类型: 分割图像
• 可用性: 免费下载

6. RWTH-PHOENIX-Weather Handshapes

• 国家: 德国
• 类别数: 60
• 参与者数: 无
• 样本数: 3359标记+17GB未标记
• 数据大小: 超过17GB
• 数据类型: 手部图像(RGB)
• 可用性: 免费下载

7. Japanese Fingerspelling Dataset

• 国家: 日本
• 类别数: 41
• 参与者数: 10
• 样本数: 8055
• 数据大小: 4.5MB
• 数据类型: 分割图像(RGB), 32x32
• 可用性: 免费下载

8. NUS hand posture dataset I

• 国家: 新加坡
• 类别数: 10
• 参与者数: ?
• 样本数: 240
• 数据大小: 3MB
• 数据类型: 图像(RGB), 160x120
• 可用性: 免费下载

9. NUS hand posture dataset II

• 国家: 新加坡
• 类别数: 10
• 参与者数: 40
• 样本数: 2000
• 数据大小: 73MB
• 数据类型: 图像(RGB), 160x120
• 可用性: 免费下载

10. CIARP 2017

• 国家: 无
• 类别数: 10
• 参与者数: ?
• 样本数: 6000
• 数据大小: 11MB
• 数据类型: 图像(RGB), 38x38
• 可用性: 免费下载

11. RTWH Fingerspelling dataset

• 国家: 德国
• 类别数: 无
• 参与者数: 无
• 样本数: 无
• 数据类型: 无
• 可用性: 无

12. Indian Kinect

• 国家: 印度
• 类别数: 40
• 参与者数: 18
• 样本数: 5041
• 数据大小: 2GB
• 数据类型: 图像(RGB+深度) 640x480
• 可用性: 免费下载

13. ArASL

• 国家: 阿拉伯
• 类别数: 32
• 参与者数: ?
• 样本数: 54,049
• 数据大小: 64MB
• 数据类型: 图像(RGB)
• 可用性: 免费下载

14. ChicagoFSWild

• 国家: 美国
• 类别数: 2
• 参与者数: 160
• 样本数: 无
• 数据类型: 图像(RGB)
• 可用性: 免费下载

15. ChicagoFSWild+

• 国家: 美国
• 类别数: 无
• 参与者数: 无
• 样本数: 无
• 数据类型: 无
• 可用性: 无

连续手部姿态数据集

1. NYU Hand pose dataset

• 数据类型: 无
• 可用性: 无
• 数据存储: 无

面部特征数据集

1. QLIBRAS

• 数据类型: 无
• 可用性: 无
• 数据存储: 无

2. WIDER FACE: A Face Detection Benchmark

• 数据类型: 无
• 可用性: 无
• 数据存储: 无

唇读特征数据集

1. GRID corpus - Lip

• 数据类型: 无
• 可用性: 无
• 数据存储: 无

2. AVICAR - Lip

• 数据类型: 无
• 可用性: 无
• 数据存储: 无

3. AVLetter

• 数据类型: 无
• 可用性: 无
• 数据存储: 无

4. CUAVE

• 数据类型: 无
• 可用性: 无
• 数据存储: 无

5. OuluVS1

• 数据类型: 无
• 可用性: 无
• 数据存储: 无

6. OuluVS2

• 数据类型: 无
• 可用性: 无
• 数据存储: 无

搜集汇总

数据集介绍

构建方式

该数据集集合涵盖了多种手语语言，包括美国手语（ASL）、德国手语（DGS）、波兰手语（PSL）等，通过多角度、多类型的视频数据进行构建。数据集的采集方式多样，包括使用Kinect摄像头、ToF摄像头以及RGB摄像头等，确保了数据的多样性和丰富性。每个数据集都经过精心标注，涵盖了单词级别、句子级别以及手势级别的语言层次，为机器学习研究提供了丰富的素材。

特点

这些数据集的显著特点在于其多样性和广泛性。不仅涵盖了多种手语语言，还包含了不同语言层次的数据，如单词、句子和手势。此外，数据集的类型也多样化，包括视频、深度视频和RGB视频，满足了不同研究需求。数据集的标注质量高，确保了研究结果的准确性和可靠性。

使用方法

使用这些数据集时，研究者可以根据具体需求选择合适的语言层次和数据类型。数据集的预处理步骤包括视频的分割、标注信息的提取以及特征的提取等。研究者可以利用这些数据集进行手语识别、手势识别以及手语翻译等研究。此外，数据集的高质量标注信息也为深度学习模型的训练提供了有力支持。

背景与挑战

背景概述

手语数据集的创建与研究在机器学习领域中占据重要地位，旨在通过数据驱动的方法提升手语识别的准确性与效率。这些数据集，如WLASL、DGS Kinect 40和RWTH-PHOENIX-Weather，由多个国家的研究机构和学者共同开发，涵盖了不同语言级别（单词、句子、手势）和数据类型（视频、深度视频）。这些数据集的构建始于2012年，由Cooper、Forster和Koller等研究者主导，旨在解决手语识别中的核心问题，如多语言环境下的手语识别、手势的动态识别等。这些数据集不仅推动了手语识别技术的发展，也为跨文化交流和聋哑人社区的沟通提供了技术支持。

当前挑战

尽管手语数据集在手语识别研究中发挥了重要作用，但其构建和应用仍面临诸多挑战。首先，不同手语的多样性和复杂性使得数据集的标准化和统一化成为一个难题。其次，数据集的获取和标注过程需要大量的人力和时间投入，尤其是在多角度、多语言环境下的视频数据处理。此外，手语识别技术的实际应用中，如何处理光照变化、背景噪声和手势的快速变化等问题，也是当前研究的重点和难点。这些挑战不仅影响了手语识别系统的性能，也限制了其在实际应用中的广泛推广。

常用场景

经典使用场景

在手语识别领域，WLASL数据集被广泛用于开发和评估基于深度学习的单词级别美国手语识别系统。该数据集包含了大量的手语视频，涵盖了多种手语词汇，为研究人员提供了一个丰富的资源库，以探索和优化手语识别算法。通过利用WLASL数据集，研究者能够构建高精度的手语识别模型，从而推动手语翻译技术的发展。

解决学术问题

WLASL数据集解决了手语识别领域中的一个关键学术问题，即如何在单词级别上准确识别手语。传统的手语识别方法通常依赖于复杂的特征提取和手工设计的规则，而WLASL数据集的出现使得基于深度学习的端到端手语识别成为可能。这不仅提高了识别精度，还简化了模型的设计和训练过程，为手语识别技术的研究提供了新的方向和方法。

衍生相关工作

基于WLASL数据集，研究者们开发了多种手语识别模型，并在此基础上进行了多项扩展研究。例如，一些研究团队利用WLASL数据集训练了基于卷积神经网络（CNN）和循环神经网络（RNN）的混合模型，显著提高了手语识别的准确率。此外，还有研究者探索了如何在多模态数据（如手势和面部表情）上进行联合建模，以进一步提升手语识别系统的性能。这些衍生工作不仅丰富了手语识别领域的研究内容，也为实际应用提供了技术支持。