ASL Hand Gesture Dataset

该数据集包含美国手语（ASL）字母表中每个字母的手势图像。数据集通过使用MediaPipe的手部跟踪系统从网络摄像头捕捉手势图像创建，并经过预处理步骤（如灰度转换、高斯模糊、阈值处理和归一化）后保存。

This dataset contains gesture images for each letter in the American Sign Language (ASL) alphabet. It is created by capturing gesture images via a webcam using MediaPipe's hand tracking system, and saved after undergoing preprocessing steps including grayscale conversion, Gaussian blur, thresholding, and normalization.

原始信息汇总

ASL Hand Gesture Recognition Dataset

数据集概述

该数据集用于美国手语（ASL）手势识别，包含ASL字母表中的手势图像。数据集的创建、预处理、训练和评估过程均通过脚本自动化完成。

数据集创建

• 脚本: create_dataset.py
• 功能: 使用摄像头捕捉ASL字母表中的手势图像。
• 字母: A, B, C, D, E, F, G, H, I, K, L, M, N, O, P, Q, R, S, T, U, V, W, X, Y
• 保存路径: asl_dataset/<letter>/
• 操作: 按任意键开始捕捉图像，按q退出。

数据预处理

• 脚本: preprocessing.py
• 步骤:
  • 转换为灰度图像
  • 应用高斯模糊
  • 增强对比度
  • 调整图像大小为32x32像素
  • 归一化像素值
• 输出: 预处理后的图像和标签保存为asl_dataset.npz，自动分为训练、验证和测试集。

模型训练

• 脚本: cnn_model.py
• 功能: 加载预处理后的数据集，构建并训练CNN模型。
• 输出: 训练后的模型保存为asl_cnn_model.h5。

手势检测

• 脚本: sign_detector.py
• 功能: 使用训练好的模型进行实时手势检测。
• 操作: 打开摄像头，实时显示检测到的手势，按q退出。

模型评估

• 脚本: evaluation.py
• 功能: 评估模型在测试数据集上的准确性。
• 输出: 输出准确率、精确率、召回率和F1分数。
• 操作: 按c捕捉手势，按q退出。

搜集汇总

数据集介绍

构建方式

在构建ASL手势数据集的过程中，首先通过`create_dataset.py`脚本利用摄像头捕捉美国手语（ASL）字母表中每个字母的手势图像。该脚本利用MediaPipe的手部追踪系统，确保捕捉到的图像具有高精度的手部定位。捕捉到的图像按照字母分类存储在结构化的文件夹系统中，便于后续处理和分析。

特点

ASL手势数据集的显著特点在于其图像的高精度手部定位和结构化的存储方式。通过MediaPipe技术，数据集中的每张图像都经过精细的手部追踪处理，确保手势的准确识别。此外，数据集的结构化存储方式使得每个字母的手势图像被有序地组织，便于后续的模型训练和评估。

使用方法

使用ASL手势数据集时，首先通过`preprocessing.py`脚本对图像进行预处理，包括灰度转换、高斯模糊、阈值处理和尺寸调整，以确保图像数据的标准化和一致性。随后，通过`cnn_model.py`脚本训练卷积神经网络（CNN）模型，利用预处理后的数据进行模型训练。训练完成后，可使用`sign_detector.py`脚本进行实时手势检测，或通过`evaluation.py`脚本评估模型的性能。

背景与挑战

背景概述

ASL Hand Gesture Dataset是由Muhammad Zarif Bin Rozaini、Muhamad Syamil Imran Bin Mohd Mansor、Muhammad Amir Faris Bin Ahsan Nudin、Amgad Elrashid Gurashid Eltayeb和Balchi Maher M. N.共同创建的，旨在支持美国手语（ASL）手势识别的研究。该数据集的构建始于对ASL字母表中每个字母的手势图像的采集，通过使用MediaPipe的实时手部跟踪系统，确保了图像的高质量捕捉。这一数据集的创建不仅为手语识别领域提供了宝贵的资源，还推动了卷积神经网络（CNN）在手势识别中的应用研究，具有重要的学术和实际应用价值。

当前挑战

ASL Hand Gesture Dataset在构建过程中面临多项挑战。首先，手势图像的采集需要确保每个字母的多样性和代表性，这要求采集者在不同光照和背景条件下进行多次拍摄。其次，图像的预处理步骤复杂，包括灰度转换、高斯模糊和阈值处理，这些步骤旨在提高图像的对比度和清晰度，但也增加了处理的复杂性。此外，训练CNN模型时，如何平衡训练集、验证集和测试集的比例，以及如何优化模型的性能，也是该数据集面临的重要挑战。这些挑战不仅影响了数据集的质量，也对后续的模型训练和评估提出了高要求。

常用场景

经典使用场景

ASL Hand Gesture Dataset的经典使用场景主要集中在手语识别领域。通过该数据集，研究者和开发者能够训练卷积神经网络（CNN）模型，以识别美国手语（ASL）中的字母手势。这一过程包括图像捕捉、预处理、模型训练和实时手势检测。数据集的结构化设计使得每个字母的手势图像被系统地存储和处理，从而为深度学习模型的训练提供了高质量的输入数据。

解决学术问题

ASL Hand Gesture Dataset解决了手语识别中的关键学术问题，即如何通过计算机视觉技术准确识别和理解手语。该数据集通过提供标准化和结构化的手势图像，帮助研究者开发和验证手语识别算法，从而推动了计算机视觉和人工智能在人机交互领域的应用。其意义在于提升了手语识别系统的准确性和鲁棒性，为聋哑人士提供了更便捷的沟通工具。

衍生相关工作

ASL Hand Gesture Dataset的发布催生了一系列相关研究和工作。例如，研究者利用该数据集开发了多种手语识别模型，包括改进的CNN架构和基于注意力机制的模型，以提高识别精度和速度。此外，该数据集还被用于跨语言手语识别的研究，探索如何将ASL识别技术应用于其他手语系统。这些衍生工作不仅丰富了手语识别领域的研究内容，也推动了相关技术的实际应用。