Slovo

arXiv2024-03-12 更新2024-08-06 收录

下载链接：

http://arxiv.org/abs/2305.14527v3

下载链接

链接失效反馈

官方服务：

资源简介：

Slovo是一个包含20,000个FullHD视频记录的俄罗斯手语数据集，分为1,000个独立的俄罗斯手语手势类，由194名手语者提供。该数据集通过众包平台制作，并提供了从数据收集到视频标注的完整创建流程。

Slovo is a Russian Sign Language dataset containing 20,000 FullHD video recordings, which covers 1,000 distinct Russian Sign Language gesture categories and was contributed by 194 signers. This dataset was developed through crowdsourcing platforms, and the complete creation pipeline from data collection to video annotation is provided.

创建时间：

2023-05-24

搜集汇总

数据集介绍

构建方式

Slovo数据集借助众包平台构建，首先设计了包含1000个日常高频俄罗斯手语词汇的手势库，并从SpreadTheSign网站获取视频模板。众包工作者在Yandex Toloka平台上根据模板录制视频，随后在ABC Elementary平台上进行验证，每段视频至少由三名工作者检查手势准确性，若意见分歧则追加标注者直至达成多数一致。通过验证的视频被裁剪至起始与结束时间戳，去除无效帧，并统一为30帧每秒、短边至少720像素的分辨率。最终，数据集包含20,000段FullHD视频，由194位手语者贡献，覆盖1000个孤立手势类别，并额外添加了400个“无事件”样本以增强模型对非手势帧的识别能力。

使用方法

Slovo数据集适用于孤立手语识别任务，研究者可将其作为基准，训练和评估视频分类模型。论文中采用MViTv2-small、Swin-large和ResNet3D-50等模型进行实验，预处理步骤包括将视频缩放至短边300像素、填充至300×300后随机裁剪为224×224，并应用水平翻转及锐化增强。采样策略上，推荐使用32帧、帧间隔为2的参数配置，以平衡信息完整性与计算效率。数据集的1000个类别对应明确的词义标签，用户可直接用于监督学习，同时“无事件”类可辅助模型学习非手势状态的判别。公开的代码仓库和预训练权重降低了使用门槛，支持快速上手与定制化扩展。

背景与挑战

背景概述

手语识别技术是跨越听障群体与健听社会之间沟通鸿沟的关键桥梁，然而各国手语在语法结构与表达方式上存在显著差异，使得针对特定语言的手语数据集构建成为一项紧迫且复杂的任务。在此背景下，SaluteDevices研究团队的Kapitanov Alexander等人于2023年创建了Slovo数据集，旨在填补俄罗斯手语（RSL）领域大规模、高质量视频数据的空白。该数据集通过众包平台动员了194位手语使用者，精心采集了20,000段全高清视频，涵盖1,000个日常高频手势类别，成为当前俄罗斯手语领域样本量最大、受试者多样性最丰富的数据资源。Slovo的诞生不仅为俄罗斯手语识别系统的研发提供了坚实的数据基础，也通过公开其完整的数据采集与标注流水线，为其他低资源手语的数据构建树立了可复现的范本。

当前挑战

Slovo数据集所解决的领域问题核心在于手语识别任务中数据稀缺性与语言特异性的双重困境。一方面，听障与健听社群之间的社会隔阂导致专业手语数据采集困难，现有俄罗斯手语数据集普遍存在样本量少、受试者背景单一、场景单调等局限，难以支撑鲁棒模型的训练。另一方面，构建过程中面临严峻挑战：首先，设计涵盖日常生活的1,000个手势词表需兼顾语言学完整性与实际应用性；其次，通过众包平台招募非专业手语者录制视频，需设计严格的俄罗斯手语水平考试与多级验证机制，以确保手势执行的准确性；最后，视频中手势起止时间标注的精准聚合算法开发，以及因不同受试者手势速度差异导致的视频时长不均问题，均需精巧的后处理策略，如基于类内时长分布的自适应加速处理，以保障数据集内部的同质性。

常用场景

经典使用场景

在计算机视觉与手势识别领域，Slovo数据集作为俄语手语（RSL）的孤立手势视频库，为深度学习模型提供了丰富的训练与评估资源。该数据集涵盖1,000类日常高频手势，由194位手语使用者录制的20,000段全高清视频构成，其场景多样性涵盖不同室内环境、光照条件及拍摄设备，显著提升了模型对真实世界复杂场景的鲁棒性。经典应用包括基于多尺度视觉变换器（MViTv2）的孤立手势分类任务，通过帧采样策略优化时序特征提取，验证了视觉变换器在手语识别中的领先性能。

解决学术问题

Slovo数据集直面手语识别领域数据稀缺与样本多样性不足的学术瓶颈。此前俄语手语数据集多局限于少量手语者、单一背景或特定领域词汇（如超市主题），导致模型泛化能力薄弱。Slovo通过众包平台引入大规模参与者，解决了跨主体手势变异、方言差异及动作速度不均匀等关键问题。其提出的标准化数据采集与验证流水线，为后续构建高鲁棒性手语识别系统奠定了方法论基础，推动孤立手势识别准确率显著提升，并为连续手语句子理解研究提供了可扩展的基准。

实际应用

在实际应用中，Slovo数据集驱动的手语识别技术可无缝嵌入视频会议系统、智能客服终端及公共设施交互界面，有效弥合听障群体与健听社会之间的沟通鸿沟。例如，医院可部署基于该数据集的实时翻译模块，辅助听障患者与医生进行病情沟通；银行与机场的自助服务终端通过集成手势识别功能，使听障人士能够独立完成业务办理。此外，该技术还被应用于手语学习应用程序，通过即时反馈纠正学习者的手势动作，提升教育资源的可及性。

数据集最近研究