ISL-Fingerspelling

ISL Fingerspelling Dataset 是一个印度手语(ISL)的连续手语拼写数据集，包含1308个视频段，总时长约为70.85分钟，共有14814个字符。数据集用于研究印度手语的手语拼写，提供了视频文件、手指拼写注释文件和源视频的时间定位文件。

原始信息汇总

ISL Fingerspelling Dataset 数据集概述

基本信息

• 许可证: CC-BY-NC-4.0
• 语言: 印度手语 (ISL)
• 标签: 手语、印度手语、指语拼写
• 数据规模: 1K<n<10K
• 显示名称: ISL Fingerspelling Dataset

数据集描述

首个印度手语的连续指语拼写数据集。

相关论文: "Continuous Fingerspelling Dataset for Indian Sign Language" (WSLP @ AACL-IJCNLP 2025)

统计信息

类别	数量
片段数量	1,308
总时长	70.85分钟
字符数量	14,814

数据结构

├── videos/ # 1308个mp4文件 ├── fingerspelling_annotations.csv # 片段标注 └── localization_timestamps.csv # 源视频中的时间定位信息

fingerspelling_annotations.csv

将视频片段映射到对应的转录文本。

列名	描述
uid	唯一片段ID ({video_id}_seg{index}_signer)
text	指语拼写文本

localization_timestamps.csv

包含原始YouTube视频中指语拼写片段的时间边界信息。

列名	描述
video_id	YouTube视频ID
segment_index	视频中的片段索引
start_time	开始时间戳 (HH:MM:SS.mmm)
start_sec	开始时间（秒）
end_time	结束时间戳 (HH:MM:SS.mmm)
end_sec	结束时间（秒）
duration_str	持续时间 (HH:MM:SS.mmm)
duration_sec	持续时间（秒）
transcript	指语拼写文本

引用信息

bibtex @inproceedings{kirandevraj2025islfingerspelling, title={Continuous Fingerspelling Dataset for Indian Sign Language}, author={Kirandevraj, R and Kurmi, Vinod K and Namboodiri, Vinay P and Jawahar, CV}, booktitle={WSLP @ AACL-IJCNLP}, year={2025} }

联系方式

[e-mail]

项目页面

https://kirandevraj.github.io/ISL-Fingerspelling

搜集汇总

数据集介绍

构建方式

作为印度手语研究领域的重要资源，该数据集通过系统化采集流程构建而成。研究团队从公开视频平台选取原始素材，采用人工标注与时间戳对齐技术，精确提取连续指语拼写片段。每个视频片段均经过严格的质量控制，确保手指动作与文本转录的准确对应，最终形成包含1,308个独立样本的结构化集合。

特点

本数据集最显著的特征在于其开创性地实现了印度手语连续指语拼写的系统化收录。数据规模涵盖70.85分钟视频素材及14,814个字符标注，每个样本均配备精确的时间边界标注与文本转录。独特的双重标注体系分别记录片段级注释和原始视频时间定位，为连续手势的时序分析提供多维研究视角。

使用方法

研究者可通过解析视频文件与标注表格的对应关系开展实验。数据集采用分层存储结构，视频文件与CSV标注表形成完整映射，支持端到端的手语识别模型训练。用户可结合时间戳信息进行细粒度动作分析，或利用转录文本开发实时翻译系统，为计算机视觉与自然语言处理交叉研究提供标准化实验平台。

背景与挑战

背景概述

手语计算研究长期致力于解决视觉语言与文本之间的转换难题，尤其在印度手语领域缺乏连续指拼数据集制约了相关技术发展。ISL-Fingerspelling数据集由印度国际信息技术学院研究团队于2025年构建，作为首个面向印度手语的连续指拼数据集，其包含1,308个视频片段与14,814个字符标注，通过从YouTube视频中提取时序标注数据，为手语识别与生成模型提供了关键训练资源，显著推进了南亚地区无障碍通信技术的演进。

当前挑战

该数据集直面印度手语指拼识别中连续手势分割与字符边界判定的核心难题，需解决视频中动态手势的时空特征提取问题。在构建过程中，研究者面临原始视频质量参差不齐、光照与手势速度变化导致的标注一致性挑战，以及从连续语流中精确切分指拼片段的时序对齐困难，这些因素共同构成了数据采集与标注流程中的主要障碍。

常用场景

经典使用场景

在印度手语研究领域，ISL-Fingerspelling数据集作为首个连续指拼数据集，为手语识别技术提供了关键支撑。该数据集通过1308个视频片段与精确的文本标注，使研究者能够系统训练深度学习模型，探索连续指拼动作的时序建模与特征提取，显著提升了手势到文本的转换精度。

解决学术问题

该数据集有效解决了手语计算中连续指拼序列的细粒度识别难题，填补了印度手语缺乏高质量标注资源的空白。其标注结构支持端到端模型开发，推动了多模态融合、跨语言手语分析等前沿方向，为构建包容性人机交互系统奠定了数据基础。

衍生相关工作

该数据集已催生多项经典研究，包括基于时序卷积的指拼分割算法、多模态特征融合架构，以及跨语言手语迁移学习框架。相关成果在AACL-IJCNLP等顶级会议发表，为全球手语计算社区提供了可复现的基准模型与方法论。