How2Sign: a large-scale multimodal dataset for continuous American Sign Language

How2Sign consists of a parallel corpus of 80 hours of sign language videos (collected with multi-view RGB and depth sensor data) with corresponding speech transcriptions and gloss annotations. In addition, a three-hour subset was further recorded in a geodesic dome setup using hundreds of cameras and sensors, which enables detailed 3D reconstruction and pose estimation and paves the way for vision systems to understand the 3D geometry of sign language.How2Sign 是一个由80小时手语视频构成的平行语料库，其视频数据通过多视角RGB与深度传感器采集获得，并附带对应的语音转录文本与gloss标注（gloss annotations）。此外，该数据集还包含一个时长3小时的子集，该子集通过数百台相机与传感器在测地线穹顶（geodesic dome）装置中采集，该装置可实现精细的三维重建与姿态估计，为视觉系统理解手语的三维几何特征奠定了基础。

搜集汇总

背景与挑战

背景概述

How2Sign是一个大规模多模态数据集，专门用于连续美国手语研究，包含80小时的多视角手语视频，配有语音转录和注释。该数据集的一个独特之处在于其3小时子集通过测地圆顶设置采集，支持详细的3D重建和姿态估计，为理解手语的3D几何结构提供了重要资源。