WLASL|手语识别数据集|机器学习数据集

WLASL是一个大规模的单词级美国手语数据集，用于机器学习研究。

WLASL is a large-scale, word-level American Sign Language dataset designed for machine learning research.

原始信息汇总

数据集概述

主要数据集信息

id	Dataset name	Co	Class	Subj	Samples	Data	LL	Type	An	Av	T
1	DGS Kinect 40	Ger	40	15	3000		W	V,[9]		PA	Y
2	RWTH-PHOENIX-Weather	Ger	1200	9	45760	52gb	S	V	[18]	PA	Y
3	SIGNUM	Ger	450	25	33210	920gb	S	V		PA,[5]	N
4	GSL 20	Gre	20	6	~840		W			CA	Y
5	Boston ASL LVD	USA	3300+	6	9800		W	V,[9]	[19,20]	PA	N
6	PSL Kinect 30	Pol	30	1	30×10=300	~1.2gb	W	V,[10]		PA	Y
7	PSL ToF 84	Pol	84	1	84×20=1680	~33gb	W	V,[11]		PA	N
8	PSL 101	Pol	?	?	?	?	?	?		CA	N
9	LSA64	Arg	64	10	3200	20gb	W	VR	[21]	PA	Y
10	BosphorusSign	Tur								Non	N
11	MSR Gesture 3D	USA	12	10	336	28mb	W	VD		PA	N
12	DEVISIGN-G	Chi	36[1]	8	432	?	W	VR		CA	N
13	DEVISIGN-D	Chi	500	8	6000	?	W	VR		CA	N
14	DEVISIGN-L	Chi	2000	8	24000	?	W	VR		CA	N
15	IIITA -ROBITA	Ind	23	?		284mb	W	VR,[15]		CA	N
16	Purdue ASL	USA	?	14[3]	?	?	W/S	V,[14]		[6]	N
17	CUNY ASL	USA	?	8	~33000[4]	?	S	VR,[16]	[7]	U	N
18	SignsWorld Atlas	Ara	[2]	10	?	?	W,S,H	V,[17,14]	?	U	N

手势特征数据集信息

id	Name	Co	Clas	Sub	Samples	Data	Type	Availability
1	ASL Fingerspelling A	USA	24	5	131000	2.1gb	images (depth+rgb)	Free download
2	ASL Fingerspelling B	USA	24	9		317mb	images (depth)	Free download
3	LSA16 handshapes	Arg	16	10	800	7mb	images (rgb)	Free download
4	PSL Fingerspelling ToF	Pol	16	3	960	~290mb	3D point cloud	Free download
5	ISL	Iri	[23]	6	[24]	170mb	segmented images	Free download
6	RWTH-PHOENIX-Weather Handshapes	Ger	60		[25]	+ 17gb	Hand Images (rgb)	Free download
7	Japanese Fingerspelling Dataset	Jap	41	10	8055	4.5mb	[26]	Free download
8	NUS hand posture dataset I	Sin	10	?	240	3mb	images(rgb),160x120	Free download
9	NUS hand posture dataset II	Sin	10	40	2000	73mb	images(rgb)160x120	Free download
10	CIARP	-	10	?	6000	11mb	images(rgb)38x38	Free download
11	RTWH Fingerspelling dataset	Ger
12	Indian Kinect	Ind	40	18	5041	2gb	[27]	Free download
13	[ArASL]	Ara	32	?	54,049	64mb	images(rgb)	Free download
14	ChicagoFSWild	USA	[2]	160	?		images(rgb)	Free download
15	ChicagoFSWild+	USA

连续手部姿态数据集

1. NYU Hand pose dataset
   • 相关论文：Real-Time Continuous Pose Recovery of Human Hands Using Convolutional Networks

面部特征数据集

1. QLIBRAS

   • 相关论文：QLIBRAS: A novel database for grammatical facial expressions in Brazilian Sign Language

2. WIDER FACE: A Face Detection Benchmark

   • 相关论文：Fingerspelling recognition in the wild with iterative visual attention

唇读特征数据集

1. GRID corpus - Lip

   • 相关论文：LipNet: End-to-End Sentence-level Lipreading
   • 相关论文：Dynamic Stream Weighting for Turbo-Decoding-Based Audiovisual ASR

2. AVICAR - Lip

   • 相关论文：Classification and Feature Extraction by Simplexization

3. AVLetter

   • 相关论文：Temporal Multimodal Learning in Audiovisual Speech Recognition

4. CUAVE

   • 相关论文：CUAVE: A new audio-visual database for multimodal human-computer interface research

5. OuluVS1

   • 相关论文：Lip Reading in the Wild

6. OuluVS2

   • 相关论文：Out of time: automated lip sync in the wild

AI搜集汇总

数据集介绍

构建方式

WLASL数据集的构建基于大规模的手语视频，涵盖了美国手语（ASL）中的2000多个词汇。研究团队通过众包平台收集了来自不同手语使用者的视频样本，确保了数据的多源性和多样性。视频数据经过精细的标注，包括手势的起始和结束时间、手势类型以及手部和身体的关键点位置。此外，数据集还包含了背景信息，如手语者的性别、年龄和手势的上下文，以增强数据集的实用性和研究价值。

特点

WLASL数据集的显著特点在于其广泛性和精细度。首先，数据集包含了超过2000个手语词汇，覆盖了日常交流中的大部分常用词汇，为手语识别和理解提供了丰富的语料。其次，视频数据的标注精细，不仅包括手势的时间和类型，还有手部和身体的关键点位置，这为深度学习模型的训练提供了高质量的输入。此外，数据集的多源性和多样性确保了模型的泛化能力，使其在不同手语使用者之间具有良好的适应性。

使用方法

WLASL数据集主要用于手语识别和理解的研究。研究者可以利用该数据集训练深度学习模型，以实现对手语视频的自动识别和翻译。具体使用方法包括：首先，将视频数据预处理为帧序列，并提取手部和身体的关键点信息；随后，利用标注数据训练卷积神经网络（CNN）或循环神经网络（RNN）模型，以识别手势和预测手语词汇。此外，数据集还可以用于开发手语教学工具和辅助通信设备，提升手语使用者的交流效率和生活质量。

背景与挑战

背景概述

WLASL（Word-Level American Sign Language）数据集由研究人员于2020年创建，旨在推动美国手语（ASL）的计算机视觉识别研究。该数据集由加州大学戴维斯分校的团队主导开发，包含了2000多个手语词汇的视频片段，每个词汇均有多个不同的手语者演示。WLASL的创建填补了手语识别领域在细粒度词汇级别上的数据空白，为研究者提供了一个标准化的基准，极大地促进了手语识别技术的发展和应用。

当前挑战

WLASL数据集在构建过程中面临了多重挑战。首先，手语的动态性和多样性使得数据标注和分类变得复杂，不同手语者的表达方式存在显著差异。其次，数据集的规模和多样性要求高效的算法来处理和识别这些视频片段，这对计算资源和算法设计提出了高要求。此外，手语识别领域的研究仍处于初级阶段，缺乏成熟的理论和方法，这使得WLASL的应用和进一步研究充满了不确定性。

发展历史

创建时间与更新

WLASL数据集创建于2019年，由Gul Varol等人首次发布，旨在推动手语识别技术的发展。该数据集在2020年进行了首次更新，增加了更多的手语词汇和视频样本，以提高其多样性和覆盖范围。

重要里程碑

WLASL数据集的发布标志着手语识别领域的一个重要里程碑。它包含了2000多个手语词汇的视频样本，涵盖了美国手语（ASL）中的常用词汇。这一数据集的推出，极大地促进了手语识别算法的研究和开发，使得研究人员能够更有效地训练和评估手语识别模型。此外，WLASL数据集的开放获取政策，也促进了全球范围内手语识别技术的共享和合作。

当前发展情况

当前，WLASL数据集已成为手语识别领域的重要资源，被广泛应用于学术研究和工业应用中。它不仅推动了手语识别技术的进步，还促进了手语教育和无障碍通信的发展。随着技术的不断进步，WLASL数据集也在持续更新和扩展，以适应新的研究需求和技术挑战。未来，WLASL数据集有望继续引领手语识别领域的发展，为实现更高效、更准确的手语识别系统做出贡献。

发展历程

• WLASL数据集首次发表，由Gul Varol等人提出，旨在为手语识别任务提供一个大规模、多样化的数据资源。

  2019年
• WLASL数据集在多个国际会议和期刊上被广泛引用，成为手语识别领域的重要基准数据集。

  2020年
• WLASL数据集的应用扩展到手语翻译和手语理解领域，推动了相关技术的研究和发展。

  2021年
• WLASL数据集的版本更新，增加了更多的手语词汇和多样化的视频数据，进一步提升了数据集的质量和覆盖范围。

  2022年

常用场景

经典使用场景

在手语识别领域，WLASL数据集以其丰富的手语词汇和多样的手语者样本，成为研究手语理解和翻译的经典工具。该数据集包含了2000多个手语词汇的视频片段，涵盖了美国手语（ASL）的广泛应用场景。研究者利用WLASL数据集，通过深度学习模型对手语动作进行分类和识别，从而推动了手语识别技术的发展。

实际应用

在实际应用中，WLASL数据集推动了手语翻译系统和辅助通信设备的开发。例如，基于WLASL训练的模型可以嵌入到智能手机或智能眼镜中，实时识别用户的手语并将其翻译成文字或语音，从而帮助聋哑人士与外界进行无障碍交流。此外，该数据集还支持开发教育工具，帮助学习者更有效地掌握手语。

衍生相关工作

WLASL数据集的发布激发了大量相关研究工作。例如，研究者利用WLASL数据集开发了多种手语识别算法，包括基于卷积神经网络（CNN）和循环神经网络（RNN）的模型。此外，WLASL还促进了跨模态学习研究，探索如何将手语视频与文本信息相结合，以提高识别精度。这些衍生工作不仅丰富了手语识别领域的研究内容，也为未来的技术进步提供了新的方向。