MS-ASL

手语识别是一个具有挑战性且经常被低估的问题，包括在多个流上异步集成的多模态发音体（手形、方向、运动、上身和面部）。在这种情况下学习强大的统计模型需要大量数据，尤其是要应用该领域的最新进展。然而，由于转录这些非书面语言的巨大成本，标记数据是手语的稀缺资源。我们提出了第一个真实的大规模手语数据集，包含超过 25,000 个带注释的视频，我们使用来自符号和相关动作识别的最先进方法对其进行了全面评估。与当前最先进的技术不同，该数据集允许在具有 200 多个签名者的现实环境中研究对看不见的个体（签名者独立测试）的泛化。以前的工作主要处理有限的词汇任务，而在这里，我们涵盖了具有挑战性和不受约束的现实生活记录条件下的 1000 个标志的大类。我们进一步提出从视频分类中知道的 I3D，作为一种强大且合适的手语识别架构，其性能大大优于当前的最先进技术。该数据集对社区公开可用。