VIDIMU

VIDIMU数据集是由巴利亚多利德大学创建的多模态视频和IMU运动数据集，专注于日常生活中的活动。该数据集包含13种活动，使用普通摄像头和五个惯性传感器记录，涉及54名参与者，其中16名同时使用IMUs。数据集的创新之处在于其临床相关性、使用经济实惠的设备进行数据采集，以及采用最先进的工具进行多模态数据处理。VIDIMU数据集旨在为日常生活中的活动识别和运动分析提供支持，适用于远程康复医学等领域，旨在解决实验室外人体运动数据的获取问题。

The VIDIMU dataset is a multimodal video and IMU motion dataset developed by the University of Valladolid, focusing on activities of daily living (ADLs). It encompasses 13 categories of activities, recorded with consumer-grade cameras and five inertial sensors, involving 54 participants, 16 of whom used the IMU devices during data collection. The key innovations of this dataset lie in its clinical relevance, the use of affordable off-the-shelf equipment for data acquisition, and the adoption of state-of-the-art tools for multimodal data processing. The VIDIMU dataset is intended to support daily activity recognition and motion analysis, applicable to fields such as telerehabilitation medicine, and aims to address the challenge of collecting human motion data outside controlled laboratory settings.

搜集汇总

数据集介绍

构建方式

在远程康复医学领域，人体活动识别与临床生物力学分析常受限于实验室环境下的数据采集。VIDIMU数据集通过融合消费级摄像头与五个定制惯性传感器，构建了涵盖54名健康受试者的多模态运动数据库。数据采集过程中，受试者执行了13项具有临床意义的日常活动，包括上下肢功能动作；视频以30帧率与640×480分辨率记录，惯性数据以50赫兹无线传输四元数信息。后续处理采用BodyTrack姿态估计算法从视频中提取三维关节坐标，并基于OpenSim平台通过逆运动学从惯性数据重建关节角度，最终通过信号同步技术实现了多模态数据的时空对齐。

使用方法

研究者可利用VIDIMU数据集开展人体活动识别、运动学分析与多模态融合算法验证。数据集文件按受试者、活动与试验编号组织，包含原始视频（.mp4）、惯性原始四元数（.raw）、估计关节位置（.csv）及逆运动学生成的关节角度（.mot）等多种格式。使用前需结合配套的VIDIMU-TOOLS代码库进行数据读取与预处理；对于同步数据子集，可通过最小化视频与IMU估计关节角度的均方根误差实现时间对齐。该数据集适用于计算机视觉、穿戴式传感与康复工程等领域，支持从动作分类到三维运动重建的多种任务，但需注意其缺乏光学运动捕捉系统的金标准验证数据。

背景与挑战

背景概述

在物理远程康复医学领域，人类活动识别与临床生物力学分析一直是极具挑战性的研究课题。传统实验室环境下的高精度运动捕捉系统虽能提供精确数据，但其高昂成本与复杂配置限制了在自然场景中的应用。为应对这一局限，由西班牙巴利亚多利德大学与瑞士西部应用科学大学联合研发的VIDIMU数据集于2023年正式发布。该数据集聚焦于日常活动中的多模态运动捕捉，通过结合消费级摄像头与五个惯性传感器，同步采集了54名健康受试者的视频数据，其中16名受试者同时配备了惯性测量单元。其核心目标在于推动经济高效的远程患者运动追踪方案发展，为家庭环境下的康复评估与活动识别提供可靠数据基础。

当前挑战

VIDIMU数据集致力于解决自然场景下人类活动识别与运动学分析的双重挑战。在领域问题层面，单一摄像头受限于二维视角与自遮挡现象，难以精确捕捉三维关节运动细节；而惯性传感器虽能提供高精度三维旋转数据，却面临传感器校准与漂移误差的技术瓶颈。构建过程中，研究团队需克服多模态数据同步的复杂性，确保视频与惯性传感器在时间维度上精确对齐。同时，受试者在执行日常活动时存在个体运动差异，需设计标准化采集协议以保障数据的一致性与可比性。此外，如何在低成本设备限制下实现与实验室金标准相近的数据质量，亦是数据集构建中的关键难题。

常用场景

经典使用场景

在远程康复医学领域，人体活动识别与临床生物力学分析常面临实验室外数据采集的挑战。VIDIMU数据集通过整合低成本摄像头与惯性传感器，记录了54名受试者执行13项日常生活活动的多模态数据，为研究者在自然环境中开展人体运动跟踪提供了经典范例。该数据集特别适用于开发基于视觉与惯性融合的算法，以实现在非受控环境下对步态、坐立转移及上肢功能性动作的精准识别与运动学重建。

解决学术问题

VIDIMU数据集有效解决了远程康复中两大核心学术问题：一是弥补了现有公共数据集在实验室外环境下同时支持活动识别与生物力学分析的空白；二是通过融合视觉与惯性数据，克服了单一传感器在捕捉细微运动或三维运动学信息时的局限性。其意义在于推动了低成本、可部署的患者运动监测方案发展，为个性化康复程序的量化评估与动态调整奠定了数据基础，促进了计算机视觉、可穿戴计算与临床医学的跨学科融合。

实际应用

该数据集的实际应用场景主要集中在家庭基远程康复系统中。通过利用普通摄像头与定制惯性传感器，VIDIMU支持开发能够在患者自然生活环境中持续监测其日常活动与运动功能的解决方案。例如，系统可自动识别患者行走、取物、饮水等动作，并量化关节角度与运动范围，为临床医生提供客观的康复进展反馈，从而优化治疗计划，减少患者往返诊所的频率，降低医疗成本并提升康复效率。

数据集最近研究

最新研究方向

在远程康复医学领域，VIDIMU数据集以其多模态视频与惯性测量单元（IMU）的融合特性，正推动着基于日常活动的人体运动分析研究迈向新高度。该数据集通过结合低成本摄像头与定制传感器，实现了在自然环境下对13种临床相关活动的同步采集，为人体活动识别与运动学分析提供了宝贵资源。当前研究前沿聚焦于利用深度学习技术优化多模态数据的融合与同步，旨在提升关节角度估计的精度与鲁棒性，从而支持个性化家庭康复方案的开发。这一进展不仅呼应了医疗健康领域对可负担、非侵入式监测技术的迫切需求，也为计算机视觉与可穿戴设备的交叉应用开辟了切实可行的路径。

相关研究论文

• Multimodal video and IMU kinematic dataset on daily life activities using affordable devices (VIDIMU)

  巴利亚多利德大学 · 2024年