MMASD

MMASD是由特拉华大学创建的多模态数据集，专注于自闭症干预分析。该数据集包含来自32名自闭症儿童的1,315个数据样本，这些样本是从超过100小时的干预录像中提取的。MMASD通过提供光学流、2D和3D骨骼数据以及临床评估结果，旨在帮助研究人员和治疗师理解儿童的认知状态，监控治疗进展，并相应地定制治疗计划。此外，该数据集还启发了解决社会任务的下游应用，如动作质量评估和人际同步估计。MMASD is a multimodal dataset created by the University of Delaware, focusing on autism intervention analysis. This dataset contains 1,315 data samples from 32 autistic children, which are extracted from over 100 hours of intervention video recordings. By providing optical flow, 2D and 3D skeletal data as well as clinical assessment results, MMASD aims to assist researchers and therapists in understanding children's cognitive states, monitoring treatment progress, and tailoring treatment plans accordingly. Additionally, this dataset has inspired downstream applications for solving social tasks, such as motion quality assessment and interpersonal synchronization estimation.

搜集汇总

数据集介绍

构建方式

MMASD数据集的构建过程体现了对儿童隐私保护的重视。该数据集从100多个小时的干预记录中提取了1315个数据样本，这些样本来源于32名自闭症儿童的玩耍疗法干预。为了保护儿童隐私，数据集采用了多种隐私保护的多模态特征，包括光学流、2D和3D骨架数据，这些特征均由原始视频数据经ROMP、OpenPose和Lucas-Kanade等方法提取。此外，数据集还包括了临床医生对每个儿童的评估结果，如运动功能得分和自闭症严重程度。

特点

MMASD数据集的特点在于其多模态、隐私保护、公开可用。首先，数据集包含了多模态特征，如光学流、2D/3D骨架、人口统计信息和临床评估数据，这些特征能够全面地描述儿童在干预过程中的全身运动信息。其次，数据集采用了隐私保护技术，避免了原始视频数据的直接暴露，从而保护了儿童的隐私。最后，数据集是公开可用的，为研究人员和临床医生提供了宝贵的资源。

使用方法

MMASD数据集的使用方法多样，可以应用于多个领域。例如，可以使用该数据集训练和评估机器学习模型，以分析儿童在干预过程中的运动和行为模式，从而更好地理解他们的认知状态和进展。此外，该数据集还可以用于动作识别、动作质量评估和人际同步性估计等下游任务。在使用数据集时，需要根据具体任务的需求选择合适的特征和模型，并进行适当的预处理和训练。

背景与挑战

背景概述

自闭症谱系障碍（ASD）是一种神经发育障碍，其特征在于社交沟通能力显著受损，以及感知和表达沟通线索的困难。MMASD 数据集的创建旨在克服自闭症领域数据共享的挑战，特别是隐私保护问题。该数据集由美国特拉华大学的研究团队于 2023 年创建，主要研究人员包括李继成、张果等。核心研究问题是利用机器学习技术分析自闭症儿童在治疗干预过程中的社交和行为互动，以帮助研究人员和临床医生更好地理解自闭症儿童的认知状态，监测他们在治疗过程中的进步，并制定相应的治疗方案。MMASD 数据集的创建对自闭症研究领域产生了重要影响，为研究人员提供了公开可访问的多模态数据集，促进了自闭症领域机器学习技术的应用和发展。

当前挑战

MMASD 数据集面临着一些挑战。首先，数据集构建过程中遇到了隐私保护问题，需要确保敏感和可识别的原始视频资料不被泄露。其次，数据集包含多模态特征，如光流、2D 和 3D 骨骼数据，以及临床评估结果，这些特征的提取和整合需要克服技术难题。此外，数据集还面临着领域特定的挑战，例如，自闭症儿童的行为模式可能并不像标准的人体行为识别基准数据集那样具有主导性和连续性，而是可能包含临时行为或干扰。此外，与使用传感器收集地面实况骨骼数据的标准基准数据集不同，MMASD 通过预训练的深度神经网络生成骨骼数据，其可靠性取决于底层姿态检测器的性能。最后，自闭症儿童的动机功能可能存在差异，导致同一活动的强度水平和完成率不同。

常用场景

经典使用场景

在自闭症干预分析领域，MMASD数据集被广泛用于研究儿童在社会互动和行为模式方面的特征。其多模态特性，包括光流、2D和3D骨架，以及临床评估数据，为研究人员提供了深入了解自闭症儿童在治疗干预期间认知状态和运动发展的工具。通过分析这些数据，研究人员可以监测治疗进展，并根据个体差异定制治疗方案。此外，MMASD数据集还促进了下游任务的研究，如动作质量评估和人际同步性估计。

解决学术问题

MMASD数据集解决了自闭症研究领域中数据共享的隐私问题。传统的自闭症数据集通常局限于私人领域，限制了模型间的比较和验证。MMASD通过提供隐私保护的多模态特征，如光流、2D/3D骨架，以及临床评估结果，使得研究人员能够在不泄露个人隐私的情况下进行公开的数据共享。这使得不同模型能够在同一基准上进行公平的比较，推动了自闭症研究的进展。

衍生相关工作

MMASD数据集的发布推动了自闭症研究领域中多模态分析和隐私保护技术的发展。基于MMASD数据集，研究人员开发了一系列新的机器学习模型，用于分析自闭症儿童的运动和行为模式。此外，MMASD数据集还促进了自闭症研究领域中数据共享和模型比较的标准化，为自闭症研究的进一步发展奠定了基础。