MUVIM

MUVIM数据集是由风筝研究机构创建的多模态跌倒检测数据集，包含红外、深度、RGB和热像四种视觉模态。该数据集通过在模拟家庭环境中收集30名健康成年人和10名老年人的跌倒和日常活动数据，旨在解决现有数据集在真实世界应用中的局限性。数据集创建过程中，使用了多种摄像机和可穿戴设备，以模拟真实环境中的跌倒事件和日常活动。MUVIM数据集的应用领域主要集中在提高老年人独立生活能力，通过确保在跌倒时能及时获得支持，从而减少跌倒相关的并发症和伤害。

The MUVIM dataset is a multimodal fall detection dataset developed by the Kite Research Institute, encompassing four visual modalities: infrared, depth, RGB, and thermal imaging. It collects fall and daily activity data from 30 healthy adults and 10 elderly individuals in a simulated home environment, aiming to address the limitations of existing datasets in real-world applications. During the dataset creation process, multiple cameras and wearable devices were employed to simulate fall incidents and daily activities in real-world scenarios. The primary application domains of the MUVIM dataset focus on enhancing the independent living capabilities of the elderly, ensuring timely support is provided when falls occur, thereby reducing fall-related complications and injuries.

搜集汇总

数据集介绍

构建方式

MUVIM数据集的构建采用了多种视觉模态，包括红外、深度、RGB和热像仪摄像头。这些模态的选择旨在提供对低光条件下的性能提升以及对面部特征的模糊化，从而在保护隐私的同时提高性能。数据集收集了30名健康成年人和10名老年人的日常活动和跌倒数据，这些数据是在模拟的家庭环境中以半自然主义的方式收集的。数据集包含了各种光照条件、连续的日常生活活动（ADLs）以及不同位置的摄像头，以模拟现实世界的场景。数据预处理包括将视频转换为JPEG格式的帧，并手动标记跌倒的起始和结束帧。为了分析摄像头模态的性能，使用了一个定制的时空卷积自动编码器，该编码器仅在ADLs上进行了训练，以便将跌倒视为异常检测问题，因为跌倒会增加重建误差。

特点

MUVIM数据集的特点在于其多模态和多摄像头的设计，这为研究者提供了在不同模态之间进行比较的机会，并探索它们在检测跌倒方面的性能。数据集包含了广泛的跌倒类型和ADLs，以模拟现实世界的多样性。此外，数据集还考虑了隐私保护，因为某些摄像头模态（如红外和深度）可以模糊识别特征。数据集还提供了不同光照条件下的数据，以及不同位置和方向的摄像头视角，以增强模型的泛化能力。

使用方法

使用MUVIM数据集的方法包括使用定制的时空卷积自动编码器进行训练和测试。训练过程仅使用ADLs的视频片段，而测试过程则使用包含跌倒的视频片段。通过比较不同摄像头模态的重建误差，可以评估它们在跌倒检测方面的性能。数据集还支持使用全局阈值和视频内阈值进行性能评估。此外，数据集还支持多模态融合，以进一步提高性能并减少误报。研究者可以使用PyTorch等深度学习框架实现自己的模型，并使用MUVIM数据集进行训练和评估。

背景与挑战

背景概述

跌倒是老年人受伤相关死亡的主要原因之一，有效的跌倒检测可以降低并发症和受伤的风险。跌倒检测可以通过可穿戴设备或环境传感器进行，但这些方法可能存在用户依从性问题或误报。视频摄像头提供了一个被动的替代方案，然而，常规的RGB摄像头会受到光照条件变化和隐私问题的限制。从机器学习的角度来看，开发有效的跌倒检测系统具有挑战性，因为跌倒事件罕见且具有可变性。许多现有的跌倒检测数据集缺乏重要的现实世界考虑因素，例如不同的光照、持续的日常生活活动（ADL）和摄像头位置。缺乏这些考虑因素使得开发能够在现实生活中有效运行的预测模型变得困难。为了解决这些局限性，我们引入了一个新颖的多模态数据集（MUVIM），其中包含四种视觉模态：红外、深度、RGB和热像仪。这些模态提供了诸如模糊面部特征和在低光条件下性能改进等优势。我们将跌倒检测制定为一个异常检测问题，其中自定义的时空卷积自编码器仅在ADL上进行训练，以便跌倒会增加重建误差。我们的结果表明，红外摄像头提供了最高的性能水平（AUC ROC=0.94），其次是热像仪（AUC ROC=0.87）、深度（AUC ROC=0.86）和RGB（AUC ROC=0.83）。这项研究提供了一个独特的机会来分析在家居环境中检测跌倒的摄像头模态的实用性，同时平衡性能、被动性和隐私。

当前挑战

构建一个多模态跌倒检测数据集面临着多个挑战。首先，跌倒事件罕见且具有可变性，这使得收集大量数据变得困难。其次，跌倒事件与正常ADL相比持续时间短，这可能导致模型无法准确识别跌倒。此外，跌倒事件之间的差异很大，这使得很难严格定义一个明确的类别或捕获数据集中所有可能的变体。在构建过程中，还需要考虑现实世界的因素，如不同的光照、家具、跌倒样式、ADL的多样性和摄像头位置。此外，还需要平衡高灵敏度跌倒检测和低误报率，以确保系统的实用性和可靠性。

常用场景

经典使用场景

MUVIM 数据集主要用于跌倒检测研究，尤其是基于多模态视觉的跌倒检测。该数据集包含了红外、深度、RGB 和热像四种视觉模态，为研究人员提供了丰富的数据资源，以开发出更准确、更可靠的跌倒检测系统。此外，MUVIM 数据集还包含了日常活动数据，有助于研究人员分析跌倒事件与日常活动之间的关系，从而提高跌倒检测系统的鲁棒性。

解决学术问题

MUVIM 数据集解决了现有跌倒检测数据集在真实世界应用中存在的局限性。许多现有的数据集缺乏对真实世界环境的考虑，例如不同的光照条件、连续的日常活动以及摄像头的位置。MUVIM 数据集包含了多种视觉模态和日常活动数据，为研究人员提供了更接近真实世界环境的数据资源，有助于开发出更具实用价值的跌倒检测系统。

衍生相关工作

MUVIM 数据集的发布推动了跌倒检测领域的研究进展。基于 MUVIM 数据集，研究人员可以开发出更多先进的跌倒检测算法，并探索多模态融合技术在跌倒检测中的应用。此外，MUVIM 数据集还可以用于其他相关领域的研究，例如异常行为检测、人体行为识别等。