SSBD+

SSBD+数据集是由IIIT-班加罗尔的手术和辅助机器人实验室与Bubbles自闭症中心合作创建的，旨在通过视频分析自动检测儿童的自刺激行为，如拍手、摇头和旋转等，以辅助自闭症谱系障碍的诊断。该数据集包含60个视频，每个视频约90秒，由医疗专家标注。数据集的创建过程涉及从YouTube收集视频并进行专业标注。SSBD+数据集的应用领域主要集中在自闭症的早期诊断和行为跟踪，旨在通过自动化技术提高诊断的准确性和效率。

The SSBD+ dataset was developed in collaboration between the Surgical and Assistive Robotics Laboratory at IIIT-Bangalore and the Bubbles Autism Center. It aims to automatically detect children's self-stimulatory behaviors such as clapping, head shaking, spinning and others via video analysis to assist in the diagnosis of Autism Spectrum Disorder (ASD). The dataset consists of 60 videos, each approximately 90 seconds long, which were annotated by medical experts. The dataset creation process involved collecting videos from YouTube and conducting professional annotation work. The main application scenarios of the SSBD+ dataset focus on the early diagnosis and behavior tracking of autism, with the goal of improving the accuracy and efficiency of diagnosis through automated technologies.

搜集汇总

数据集介绍

构建方式

在自闭症谱系障碍行为识别领域，SSBD+数据集通过系统化扩展策略构建而成。该数据集在原始SSBD基础上，从YouTube平台采集了35段新视频，涵盖手臂拍打、头部撞击和旋转三类典型自我刺激行为。所有视频素材由印度班加罗尔自闭症中心的认证医学专家进行专业标注，确保行为标签的临床准确性。视频数据以XML格式存储，与原始数据集保持格式一致性，形成自然延伸。数据预处理阶段采用10帧/秒的采样率，将每帧图像统一调整为100×100像素，并通过40帧重叠窗口构建视频片段，为后续模型训练提供标准化输入。

特点

该数据集在自闭症行为识别领域展现出显著特征优势。视频内容涵盖三类典型自我刺激行为，并创新性地引入“无类别”标签，为真实场景下的实时检测提供可能。数据集规模较原始SSBD扩展约45%，有效缓解了行为识别任务中的数据稀缺问题。视频片段平均时长约90秒，捕捉了行为发生的完整动态过程。标注体系严格遵循临床标准，由专业医疗人员完成，确保标签的可靠性与一致性。数据分布呈现自然不平衡特性，真实反映了自我刺激行为在实际场景中的出现频率，为模型鲁棒性训练提供了挑战性环境。

使用方法

该数据集适用于基于深度学习的自闭症行为自动检测研究。使用时可遵循论文提出的两阶段流水线架构：首先通过SSBDBinaryNet模型进行二分类，检测视频中是否存在自我刺激行为；若检测为阳性，则交由SSBDIdentifier模型进行具体行为分类。预处理阶段需使用Movenet模型提取人体关键点特征，并结合ResNet-18提取的空间特征进行多模态融合。研究人员可采用论文提供的开源代码实现完整流程，或基于预处理后的视频片段开发新算法。数据集特别适合实时检测系统开发，其引入的连续片段处理机制和置信度阈值方法，为实际部署场景提供了重要参考框架。

背景与挑战

背景概述

自闭症谱系障碍（ASD）作为一种神经发育性疾病，其早期诊断依赖于专业医师对自我刺激行为的观察，然而传统评估方法存在主观性强、一致性不足的局限。在此背景下，SSBD+数据集应运而生，由印度国际信息技术学院班加罗尔分校的研究团队于2023年提出，作为原始SSBD数据集的扩展版本。该数据集聚焦于通过视频自动检测儿童自我刺激行为，旨在构建客观、高效的自动化筛查工具，以辅助临床诊断。其核心研究问题在于利用计算机视觉技术识别头部撞击、旋转和手臂拍打等典型行为，从而推动ASD早期干预技术的发展，为相关领域提供了更为丰富和标准化的数据资源。

当前挑战

SSBD+数据集致力于解决自闭症谱系障碍中自我刺激行为自动检测的挑战，其核心在于从非受控环境下的原始视频中准确识别细微且多变的动作模式。构建过程中的挑战包括数据标注的高度专业性要求，需依赖认证医疗专家进行精确行为分类；同时，数据不平衡问题显著，正负样本比例悬殊，易导致模型偏差。此外，视频来源的多样性与背景复杂性增加了特征提取的难度，需设计鲁棒的预处理流程以应对光照、遮挡及视角变化等干扰因素。

常用场景

经典使用场景

在自闭症谱系障碍的早期筛查领域，SSBD+数据集为基于计算机视觉的自动化行为识别提供了关键基准。该数据集最经典的应用场景在于训练和评估深度学习模型，以从原始视频片段中自动检测儿童的自我刺激行为，如手臂拍打、头部撞击和旋转。研究者利用其标注的视频序列，开发端到端的分类管道，实现从视频帧中提取时空特征并识别特定行为模式，为客观、可量化的行为分析奠定数据基础。

解决学术问题

SSBD+数据集有效解决了自闭症诊断研究中主观评估依赖性强、行为观察一致性不足的学术难题。通过提供医学专家标注的视频样本，该数据集支持机器学习模型学习自我刺激行为的细微视觉模式，从而降低诊断过程对临床专家经验的依赖。其引入的“无类别”标签进一步拓展了实时检测的研究边界，使得模型能够在非受控环境中区分目标行为与常态活动，推动了自动化筛查工具向实用化迈进。

衍生相关工作

SSBD+数据集延续并拓展了原始SSBD数据集的研究脉络，衍生出多项经典工作。例如，华盛顿等人采用时空卷积神经网络结合长短期记忆网络进行头部撞击的二元分类；拉克帕拉加达等人利用手部关键点与MobileNetV2特征检测手臂拍打行为。本论文提出的两阶段管道架构进一步引入了代表帧选择与姿态特征融合机制，为实时检测提供了新的框架范式，并启发了后续关于多模态数据融合与模型蒸馏在自闭症筛查中的应用探索。