LSA64

该数据集名为LSA64，包含了来自阿根廷手语的64个不同手势的3200个视频，由10名受试者对每个手势进行5次重复表演录制而成。这些手势既有动词也有名词，且在不同的环境下执行，以增强现实感。为了便于手部追踪和分割，受试者佩戴了彩色手套。该数据集支持对手语识别的研究，并包含了关于动作、位置和手型的统计数据。其规模为3200个视频涵盖64个手势，任务是对手语进行自动识别。

The dataset named LSA64 consists of 3200 video samples of 64 distinct gestures from Argentine Sign Language, recorded from 10 subjects who each performed every gesture 5 times repetitively. These gestures cover both verbs and nouns, and were executed in diverse contexts to enhance real-world authenticity. To facilitate hand tracking and segmentation, all subjects wore colored gloves during the recording sessions. This dataset supports research on sign language recognition, and provides statistical data related to gesture motion, spatial position, and hand shape. With 3200 videos spanning 64 gesture categories, the core task supported by this dataset is automatic sign language recognition.

搜集汇总

数据集介绍

构建方式

LSA64数据集专为阿根廷手语识别研究而构建，包含64种常见手语词汇，涵盖动词和名词。数据由10名非专业受试者在两轮录制中完成，每人每个手势重复5次，共采集3200段视频。第一轮在户外自然光下录制23个单手手势，第二轮在室内人工光下录制41个手势（含22个双手手势和19个单手手势）。受试者身着黑色服装，以白色墙壁为背景，并佩戴荧光色手套以简化手部分割与追踪流程。摄像机固定于距背景2米、高度1.5米处，手势执行时仅施加少量约束以增加多样性。数据集还提供了预处理版本，通过肤色追踪和面部检测提取每帧中双手位置及分割后的手部图像，并将位置坐标以头部为原点进行归一化处理。

特点

LSA64数据集具有显著的研究价值与独特性。其核心特点在于通过佩戴彩色手套的方法，有效规避了传统视频数据中手部追踪与分割的复杂性问题，使研究者能专注于手势的识别与理解。数据集包含64个类别，每个类别均有10名受试者的5次重复样本，样本量（3200段视频）和受试者数目均优于许多现有公开数据集。手势在运动轨迹、初始与最终位置、手型等方面存在显著重叠，这构成了非平凡的实验挑战，有利于评估识别模型的鲁棒性。此外，数据集提供了预处理版本，包含手部位置、运动统计及分割后的手部图像，极大便利了后续实验与结果复现。

使用方法

LSA64数据集适用于基于视频的手语识别研究，尤其聚焦于词汇层面的识别任务。研究者可直接使用原始RGB视频进行端到端模型训练，也可利用预处理版本中的手部位置、运动轨迹和分割图像，分别建模位置、运动和手型信息。论文中提供了基线实验方法，采用隐马尔可夫模型与高斯混合模型分别处理运动、手型和位置特征，并通过子分类器概率乘积实现多信息融合。数据集支持受试者相关与无关的实验设置，可通过分层随机子采样验证方法进行性能评估。公开可获取的数据与预处理版本确保了研究的可重复性，为阿根廷手语及其他手语识别系统的开发提供了坚实基础。

背景与挑战

背景概述

手语识别作为人机交互、计算机视觉与机器学习交叉领域的重要研究方向，其核心目标在于促进听障人士的社会融入与手语教学普及。然而，手语具有显著的地域性与文化特异性，不同国家甚至同一国家内部的手语系统在句法、语义及手势构成上存在巨大差异。在此背景下，阿根廷国立拉普拉塔大学与何塞·安东尼奥·埃切维里亚高等理工学院的研究团队于2023年发布了LSA64数据集，旨在填补阿根廷手语（LSA）在科研级数据集方面的空白。该数据集包含64个常见LSA手势、由10名受试者录制的3200段视频，并采用彩色手套辅助手部跟踪与分割，为构建综合性手语识别基准提供了关键资源，对推动非主流手语的语言计算研究具有里程碑意义。

当前挑战

LSA64数据集面临的核心挑战源于手语识别领域固有的多模态性与数据稀缺性。手势由手形、位置、运动轨迹、身体姿态及面部表情等多维度信息交织构成，而当前视频采集技术难以同时高精度捕捉所有模态，且非受控环境下的肤色分割易受背景与衣着干扰。构建过程中，研究人员需克服手语标准化缺失导致的标注困难，以及听障群体规模有限带来的专家受试者招募难题。此外，数据集内不同手势在手形、起始与终止位置及运动轨迹上存在显著重叠，如单手势与双手势的轨迹相似性，增加了分类模型的辨识难度；同时，受试者非专业背景与室内外光照条件变化进一步加剧了特征提取的不确定性，使得鲁棒性识别成为亟待突破的技术瓶颈。

常用场景

经典使用场景

LSA64数据集作为阿根廷手语（LSA）的首个公开研究级词汇数据集，经典的用途在于支撑基于视频的孤立手语词识别任务。研究者借助该数据集中64类常见手语词、每类5次重复、由10位受试者录制的3200段RGB视频，能够系统性地评估和比较不同识别模型在词汇层面的性能。由于录制时受试者佩戴了荧光色手套以简化手部跟踪与分割，该数据集特别适合聚焦于手势形状、运动轨迹及位置信息的识别算法研究，为手语识别领域提供了一个标准化、可复现的基准实验平台。

实际应用

在实际应用层面，LSA64数据集为开发面向阿根廷听障人群的辅助技术奠定了数据基础。基于该数据集训练的识别模型可集成至移动应用或智能设备中，实现手语词汇到文本或语音的实时翻译，助力听障人士与健听人群之间的日常沟通。此外，该数据集还可用于手语教学系统，通过自动识别学习者手势的准确性，提供即时反馈，提升教学效率。在公共服务场景中，如医院、银行或交通枢纽，部署基于此数据集的识别模块，能够增强信息无障碍获取能力，推动社会包容性发展。

衍生相关工作

自LSA64数据集发布以来，衍生了一系列经典工作。原始论文中，研究者基于隐马尔可夫模型与高斯混合模型构建了基准确认系统，在手势形状、运动轨迹和位置信息融合下取得了95.95%的识别准确率。后续工作进一步探索了无需帧序列约束的识别方法，验证了该数据集在简化模型假设下的有效性。此外，该数据集被用于评估静态手形识别算法（如ProbsOM）的性能，并启发了针对阿根廷手语的多模态融合研究。这些衍生工作不仅深化了对LSA64数据特征的理解，也为其他低资源手语的数据库构建与识别方法探索提供了可借鉴的范式。