OctoNet

OctoNet多模态数据集提供了多种人体活动记录，包含惯性测量单元(IMU)数据、运动捕捉数据(CSV和.npy格式)、毫米波雷达数据(vayyar_pickle格式)等，支持高级别的研究，如活动识别、姿态估计、多模态数据融合等。

The OctoNet multimodal dataset provides a variety of human activity recordings, including Inertial Measurement Unit (IMU) data, motion capture data (in CSV and .npy formats), millimeter-wave radar data (in vayyar_pickle format), and more. It supports high-level research such as activity recognition, pose estimation, multimodal data fusion, and other related fields.

原始信息汇总

OctoNet多模态数据集概述

1. 数据集基本信息

• 名称: OctoNet
• 许可证: CC-BY-4.0
• 数据规模: 约768GB（分割为16个48GB的分块）
• 数据模态:
  • 惯性测量单元(IMU)数据
  • 动作捕捉数据(CSV和.npy格式)
  • mmWave/雷达数据(vayyar_pickle)
  • 多传感器节点数据(node_1至node_5)

2. 主要应用场景

• 人类活动识别
• 人体姿态估计
• 多模态信号处理
• 机器学习/深度学习模型训练

3. 文件结构

bash octonet ├── mocap_csv_final # 动作捕捉数据(CSV) ├── mocap_pose # 动作捕捉数据(NumPy .npy) ├── node_1 # 多模态传感器节点1 ├── node_2 # 多模态传感器节点2 ├── node_3 # 多模态传感器节点3 ├── node_4 # 多模态传感器节点4 ├── node_5 # 多模态传感器节点5 ├── imu # 惯性测量单元数据(.pickle) ├── vayyar_pickle # Vayyar mmWave雷达数据(.pickle) ├── cut_manual.csv # 人工筛选数据片段

4. 下载与处理

• 分块下载: 16个分块(Octonet_chunk_aa至Octonet_chunk_ap)

• 处理脚本: 自动下载、合并和提取脚本 bash bash -c "$(wget -qO- https://huggingface.co/datasets/hku-aiot/OctoNet/resolve/main/download_octonet.sh)"

• 空间要求: 峰值时需约1.5TB磁盘空间

5. 相关资源

• 项目页面: https://aiot-lab.github.io/OctoNet/
• GitHub仓库: https://github.com/hku-aiot/OctoNet

6. 联系方式

• 联系人: Dongsheng Yuan
• 邮箱: [e-mail]

搜集汇总

数据集介绍

构建方式

OctoNet多模态数据集通过集成多种传感器节点构建而成，涵盖了惯性测量单元（IMU）、运动捕捉系统及毫米波雷达等多源数据流。研究团队采用分布式采集策略，将不同传感器节点（node_1至node_5）部署于实验环境中，同步记录人体活动时产生的多维信号。数据以CSV和NumPy格式存储运动轨迹，雷达数据则采用pickle格式封装，最终通过人工校验生成cut_manual.csv标注文件，形成总容量达768GB的标准化数据集。

使用方法

用户可通过官方提供的自动化脚本实现数据集的一键下载与解压，该脚本支持断点续传并自动合并分块文件。解压后的目录按传感器类型分层存储，研究者可直接调用Python生态工具处理CSV或.npy格式的原始数据。对于雷达等特殊格式，建议结合项目GitHub仓库中的示例代码进行解析。需要注意的是，完整使用该数据集需预留1.5TB临时存储空间，且推荐在Linux环境下运行处理脚本以确保兼容性。

背景与挑战

背景概述

OctoNet多模态数据集由香港大学人工智能与物联网实验室（HKU-AIoT Lab）研发，旨在推动人类活动识别与姿态估计领域的前沿研究。该数据集整合了惯性测量单元（IMU）、动作捕捉系统、毫米波雷达等多源传感器数据，通过分布式节点采集异构时空信息，为跨模态数据融合算法提供了标准化基准。其768GB规模的海量数据覆盖复杂场景下的动态行为模式，显著提升了模型训练对真实环境噪声和个体差异的鲁棒性。

当前挑战

该数据集面临的核心挑战体现在两个维度：在学术层面，多模态数据的时间同步与空间对齐需要解决传感器采样率差异和坐标系统异构性问题；在工程层面，超大规模数据的分布式采集导致存储成本激增，原始数据分块传输需处理网络中断风险，而毫米波雷达点云与惯性数据的跨模态标注亦存在语义鸿沟。数据集构建过程中，研究人员需克服多节点时钟漂移校准、运动伪影消除等关键技术瓶颈，确保16个数据分块在合并时保持完整性。

常用场景

经典使用场景

在人体活动识别领域，OctoNet数据集凭借其多模态传感器数据的丰富性，成为研究复杂环境下人类行为模式的理想选择。该数据集整合了惯性测量单元、运动捕捉和毫米波雷达等多种传感器数据，为算法开发提供了全面的基准测试平台。研究者可通过同步分析不同节点的数据流，探索跨模态特征融合的最佳实践。

解决学术问题

OctoNet有效解决了多源异构传感器数据对齐与融合的学术难题，其毫米波雷达与惯性数据的互补性为遮挡环境下的姿态估计提供了新思路。数据集包含的精细标注突破了传统单模态研究的局限性，推动了对时空特征联合建模的理论创新，显著提升了动作识别模型在真实场景中的泛化能力。

实际应用

该数据集在智能家居和医疗监护领域展现出重要价值，其毫米波雷达数据支持非接触式生命体征监测，而多节点IMU数据可用于跌倒检测等安全应用。工业场景中，运动捕捉数据为机器人模仿学习提供了高质量的人类动作参考，加速了人机协作系统的开发进程。

数据集最近研究

最新研究方向

随着多模态感知技术的快速发展，OctoNet数据集凭借其丰富的惯性测量单元、运动捕捉和毫米波雷达数据，正成为行为识别领域的重要基准。研究者们正探索基于图神经网络的多模态时序数据融合方法，以解决传统单模态模型在复杂场景下的局限性。该数据集在智能家居、医疗监护等场景的应用研究中展现出独特价值，特别是在跨模态自监督学习方向，为减少对人工标注的依赖提供了新的可能性。近期工作聚焦于多传感器时空对齐算法优化，以及轻量化模型在边缘设备上的部署策略，这些进展推动了行为分析技术向实用化迈进。