Video ASD dataset

Video ASD数据集由阿肯色大学创建，旨在通过视频帧特征和注意力图特征数据促进自闭症谱系障碍（ASD）的分类研究。该数据集包含2,467个视频，总计约140万帧，涵盖108名参与者，其中61名患有ASD，47名为神经典型（NT）。每个视频展示了儿童在接触化学感官刺激（如味觉和嗅觉）时的额外刺激行为。数据集还包括头部姿态角度和完整的句子文本标签，描述了面部表情在刺激前后的变化。数据集的创建过程相对简单且成本较低，主要通过视频摄像机记录儿童对刺激的反应。该数据集的应用领域主要集中在ASD的早期诊断和分类，旨在通过深度学习模型提高诊断的准确性和效率。

The Video ASD Dataset was developed by the University of Arkansas to advance research on Autism Spectrum Disorder (ASD) classification using video frame features and attention map features. This dataset comprises 2,467 videos totaling approximately 1.4 million frames, involving 108 participants: 61 individuals diagnosed with ASD and 47 neurotypical (NT) controls. Each video captures the behavioral responses of children when exposed to chemical sensory stimuli such as taste and olfactory stimuli. Additionally, the dataset includes head pose angles and complete sentence-level text labels that describe changes in facial expressions before and after stimulation. The dataset construction process is relatively straightforward and low-cost, primarily relying on video cameras to record children's reactions to the stimuli. The primary application scenarios of this dataset lie in early ASD diagnosis and classification, with the objective of improving the accuracy and efficiency of diagnosis through deep learning models.

搜集汇总

数据集介绍

构建方式

Video ASD数据集的构建基于对儿童在特定的感官刺激下的额外刺激行为进行视频录制和特征提取。研究者们设计了一系列的实验，让参与者与针对五个感官的刺激样本进行互动，主要包括味觉和嗅觉。通过这种方式，研究人员能够捕捉到儿童在刺激前、刺激中、刺激后以及长时间刺激后的行为反应。视频数据经过处理后，提取了帧级别的卷积特征和注意力图特征，并计算了头部姿态角度，以减少头部运动对数据的影响。此外，研究者还为味觉和嗅觉视频提供了完整的句子文本标签，描述了面部表情的变化。数据集分为三个批次，每个批次使用不同的设备进行录制，以确保数据的多样性和可靠性。

特点

Video ASD数据集的特点在于其丰富的视频帧特征和详细的文本标签。数据集包含了2,467个视频，约140万帧，涵盖了108个不同个体的反应，其中61个有自闭症谱系障碍（ASD），47个是神经典型（NT）。视频展示了儿童在感官刺激下的额外刺激行为，提供了丰富的时序信息。文本标签详细描述了每个视频切片中参与者面部表情的变化，这对于理解ASD相关行为非常有帮助。头部姿态角度的测量有助于控制头部运动对数据的影响，提高模型的性能。此外，数据集的收集过程相对简单且成本低廉，只需要参与者、刺激样本和一台摄像机即可。

使用方法

使用Video ASD数据集进行自闭症谱系障碍分类研究时，研究者可以采用以下方法。首先，将视频帧特征和文本标签作为模型的输入，通过深度学习模型进行特征提取和分类。可以使用ViT-Base或ConvNext-Base等基础模型进行特征提取，并结合时序Transformer模块进行时序信息的处理。其次，可以针对头部姿态角度进行筛选，以减少头部运动对数据的影响。最后，可以使用交叉验证的方法评估模型的性能，并在不同的数据批次上进行测试，以模拟模型在新数据上的表现。需要注意的是，由于数据集的规模和复杂性，训练模型时可能会出现过拟合的现象，因此需要采用更复杂的方法来提高模型的泛化能力。

背景与挑战

背景概述

自闭症谱系障碍（ASD）是一种在儿童早期出现的疾病，其诊断对于早期干预和治疗效果至关重要。然而，ASD的准确诊断一直是一个挑战，因为缺乏足够的数据来支持深度学习模型的发展。为了解决这一问题，Serna-Aguilera等人创建了Video ASD数据集，这是一个包含视频帧卷积和注意力图特征数据的集合。该数据集收集了2,467个视频，共计约140万帧，展示了儿童在化学感官刺激（如听觉、触觉和视觉）下的反应。每个视频都包含头部姿势角度和完整的英文句子标签，描述了面部表情在刺激前、刺激后和长时间刺激后的变化。Video ASD数据集的创建旨在促进ASD分类任务的研究，并为医学专业人员提供更有效的诊断工具。

当前挑战

Video ASD数据集面临的挑战包括：1）所解决的领域问题，即ASD分类，需要更精确的模型来区分ASD和正常儿童的行为；2）构建过程中遇到的挑战，如参与者可能无法始终如一地展示与ASD相关的特征，头部运动噪声的影响，以及需要更多的数据和更复杂的标签来提高模型性能。此外，数据集的多样性，包括运动和人口统计学因素，也需要进一步考虑以减少潜在的偏差。

常用场景

经典使用场景

Video ASD dataset为自闭症谱系障碍（ASD）的分类提供了一个基于视频的深度学习研究平台。该数据集包含了2,467个视频，共约140万个帧，涉及108个不同个体，其中61个个体患有ASD，47个个体为神经典型个体。视频展示了儿童在接触化学感官刺激（如味道和气味）时的额外刺激行为，包括刺激前、中、后和长期后的反应，提供了丰富的时序信息。这些视频数据被用于训练和测试深度学习模型，以识别和分类ASD相关的行为模式，从而辅助医学专业人员更有效地进行早期诊断。

实际应用

Video ASD dataset的实际应用场景包括辅助医学专业人员对儿童进行ASD的早期诊断。通过训练深度学习模型来识别和分析儿童在接触特定感官刺激时的行为和面部表情，可以帮助医生更准确地识别ASD的迹象，从而及时进行干预和治疗。此外，该数据集还可以用于开发ASD相关的教育和支持工具，如个性化学习计划和社交技能训练程序，以帮助ASD患者更好地适应社会和生活。

衍生相关工作

Video ASD dataset的发布衍生了一系列相关工作。首先，它促进了深度学习在ASD分类中的应用，推动了基于视频分析的ASD诊断技术的发展。其次，该数据集的发布也引发了关于如何更好地利用额外刺激行为和面部表情分析进行ASD分类的讨论，激发了研究者们探索更复杂和更有效的模型和方法。此外，Video ASD dataset的发布还促进了ASD相关数据集的共享和开放，为ASD研究和诊断技术的发展提供了更多资源和可能性。