hku-aiot/OctoNet

OctoNet多模态数据集包含多种人体活动记录，来自多个传感器模态，支持活动识别、姿态估计、多模态数据融合等高级研究。数据集包括惯性测量单元(IMU)数据、动作捕捉数据、mmWave/Radar数据等，分为16个大约48GB的块，总共约768GB。提供了自动下载、合并和提取数据集的脚本。The OctoNet multi-modal dataset contains various human activity recordings from multiple sensor modalities, supporting advanced research in activity recognition, pose estimation, multi-modal data fusion, and more. The dataset includes inertial measurement unit (IMU) data, motion capture data, mmWave/Radar data, and is split into 16 chunks of approximately 48GB each, totaling around 768GB. An automated script for downloading, merging, and extracting the dataset is provided.

搜集汇总

数据集介绍

构建方式

OctoNet数据集由香港大学AIoT实验室构建，旨在为人类活动识别与多模态数据融合研究提供大规模基准资源。其构建过程基于多传感器同步采集方案，整合了惯性测量单元（IMU）、毫米波雷达（Vayyar）、光学运动捕捉系统以及分布于五个空间节点的传感器阵列数据。原始数据经预处理后以CSV、NumPy（.npy）和Pickle等格式存储，并通过手动标注生成精细化的活动段划分文件（cut_manual.csv）。由于数据集总规模达768GB，项目将其分割为16个约48GB的压缩块，用户可通过自动化脚本完成下载、合并与解压，最终形成包含mocap_csv_final、imu、vayyar_pickle等子目录的标准化文件结构。

使用方法

使用OctoNet数据集时，用户首先通过项目提供的Shell脚本自动下载16个分块文件并合并为octonet.tar压缩包，解压后获得完整目录结构。数据加载可依据研究目标选择子文件夹：IMU数据存储于imu目录（.pickle格式），运动捕捉数据分为mocap_csv_final（CSV格式）与mocap_pose（NumPy数组格式），雷达数据位于vayyar_pickle。用户可利用Python的pandas、numpy等库读取数据，并结合cut_manual.csv中的时间戳进行活动段切片。对于多模态融合任务，建议按节点索引（node_1至node_5）对齐不同传感器的时间序列，并参考GitHub仓库中的示例代码进行特征提取与模型训练。

背景与挑战

背景概述

在人体活动识别与姿态估计领域，多模态传感器数据的融合已成为突破单一传感器局限性的关键路径。由香港大学AIoT实验室Dongsheng Yuan等人于近期创建的OctoNet多模态数据集，旨在为复杂人体行为分析提供高精度、多视角的基准资源。该数据集整合了惯性测量单元、毫米波雷达、运动捕捉系统及多个分布式传感器节点的异构数据流，覆盖从原始IMU信号到三维姿态参数的完整信息层级，填补了现有数据集在雷达与运动捕捉联合标注方面的空白。其约768GB的庞大规模与16个分块存储策略，体现了对真实场景数据完整性与可复现性的追求，为深度学习模型的鲁棒性训练与跨模态对比研究奠定了数据基础。

当前挑战

OctoNet数据集所面临的挑战首先体现在多模态数据对齐与异构性处理上：不同传感器采样频率、空间坐标系与噪声分布差异导致时序同步与特征融合成为技术瓶颈，现有模型难以直接利用原始雷达点云与稀疏IMU信号进行端到端学习。其次，数据集构建过程中，约1.5TB的峰值存储需求与16个分块的合并流程对计算资源提出严苛要求，用户需具备高容量存储与分布式处理能力。此外，毫米波雷达数据的稀疏性与运动捕捉数据的遮挡问题交织，使得弱标注条件下的跨模态知识迁移成为开放难题，亟需发展适应性更强的多任务学习框架以挖掘数据间潜在的互补结构。

常用场景

经典使用场景

OctoNet多模态人体活动数据集以其丰富的传感器模态和精细化标注，成为人体活动识别与姿态估计领域的标杆性资源。研究者可借助其同步采集的惯性测量单元（IMU）、毫米波雷达以及多节点运动捕捉数据，构建跨模态特征融合模型，实现对复杂人体动作的高精度识别。该数据集尤其适用于深度学习驱动的时序建模任务，例如通过长短期记忆网络或Transformer架构捕捉多源传感器信号中的时空关联，从而突破单一模态在遮挡或光照变化场景下的性能瓶颈。其标准化的数据格式与公开的分块下载机制，大幅降低了多模态研究的数据预处理门槛，为可穿戴计算与智能感知系统的算法验证提供了可靠基准。

解决学术问题

在学术研究层面，OctoNet数据集系统性地解决了多模态人体感知领域中数据异构性与同步难的核心挑战。传统研究常因缺乏统一采集的跨模态数据而难以评估融合策略的泛化能力，而OctoNet通过毫米波雷达、IMU与光学动捕系统的时空对齐，为多模态信号融合、缺失模态补全及跨域知识迁移提供了标准化实验平台。该数据集推动了解析人体运动学机理的量化研究，例如通过对比不同传感器在步态分析或手势识别中的贡献度，揭示了模态互补性对模型鲁棒性的提升机制。此外，其大规模真实场景数据对缓解过拟合、验证模型在噪声环境下的泛化边界具有重要学术价值，间接促进了联邦学习与隐私保护计算在穿戴设备中的理论探索。

实际应用

在实际应用场景中，OctoNet数据集为智能健康监测、人机交互与数字孪生技术提供了关键支撑。基于其多节点传感器数据，开发者可训练出适应家居环境的跌倒检测系统，利用雷达穿透性与IMU运动灵敏度的互补优势，降低误报率并实现实时预警。在工业安全领域，该数据集支持构建融合毫米波与惯性信号的工人姿态评估模型，用于高危作业场景的疲劳监测与动作规范校准。同时，其运动捕捉数据可直接驱动虚拟现实中的数字人动画生成，通过雷达信号的无接触特性拓展了沉浸式交互在医疗康复或体育训练中的应用边界。数据集公开的分块压缩格式还降低了边缘设备部署时的存储与传输负担，加速了从实验室原型到量产产品的转化进程。

数据集最近研究

最新研究方向

OctoNet数据集代表了多模态人体活动感知研究的前沿突破，其核心价值在于融合惯性测量单元、毫米波雷达与光学动捕系统等异构传感器数据，为构建高鲁棒性的人体姿态估计与行为识别模型提供了前所未有的数据基础。当前研究热点聚焦于利用该数据集解决单一模态在遮挡、光照变化等复杂环境下的感知退化问题，推动无接触式健康监测、智能家居人机交互及工业安全监控等领域的应用落地。该数据集高达768GB的体量和多节点同步采集架构，为训练大规模Transformer或图神经网络模型提供了高保真时序数据支撑，有望催生新一代跨模态特征对齐与知识蒸馏算法，其开放共享模式更将加速学术界与工业界在边缘智能与可穿戴计算方向的协同创新。