underwater-datasets

多相机水下视觉惯性数据集是由挪威科技大学(NNTU)自主机器人实验室收集的。该数据集包含了来自多种船载传感器的数据，包括5个相机、1个惯性测量单元(IMU)、一个气压计以及遥控潜水器(ROV)的执行器命令。数据收集在受控的室内设施和自然水下环境进行。数据集组织为多个子集，每个子集对应不同的环境，每个子集包含多个轨迹目录，每个轨迹目录包含原始传感器数据的`.bag`文件和通过ReAqROVIO处理得到的参考轨迹的`.tum`文件。该数据集可用于水下状态估计方法的研究。

The multi-camera underwater visual-inertial dataset was collected by the Autonomous Robotics Laboratory of the Norwegian University of Science and Technology (NNTU). This dataset comprises data from multiple on-board sensors, including 5 cameras, one inertial measurement unit (IMU), a barometer, and actuator commands from the remotely operated vehicle (ROV). Data acquisition was conducted in both controlled indoor facilities and natural underwater environments. The dataset is organized into multiple subsets, each corresponding to a distinct environment. Each subset contains multiple trajectory directories, and each trajectory directory holds a `.bag` file storing raw sensor data and a `.tum` file of the reference trajectory processed via ReAqROVIO. This dataset can be utilized for research on underwater state estimation methods.

原始信息汇总

Multi-Camera Underwater Visual-Inertial Dataset 概述

基本信息

• 许可证: BSD-3-Clause
• 任务类别: 机器人学
• 语言: 英语
• 数据集名称: underwater-datasets
• 提供方: Autonomous Robots Lab, NTNU

数据集内容

• 传感器数据:
  • 5个摄像头
  • 1个IMU（通过Alphasense Core Research Development Kit）
  • 1个气压计
  • ROV的执行器命令
• 采集环境:
  • 室内受控设施
  • 室外自然水下环境

数据集结构

• 组织方式:
  • 按环境分为多个子集
  • 每个子集包含多个轨迹目录（traj_<X>）
    • 每个轨迹目录包含：
      • .bag文件（原始传感器数据）
      • .tum文件（参考轨迹，由ReAqROVIO生成）

可用子集

1. Trondheim Fjord (subset-fjord)

• 描述: 在Trondheim Fjord手动驾驶Ariel收集的6条轨迹
• 轨迹详情:

编号	长度 (m)	时长 (s)	大小 (GB)
1	142	312	12.5
2	206	499	23.4
3	122	272	13.9
4	165	411	23.4
5	234	440	18.6
6	305	638	26.6

2. Marine Cybernetics Lab (subset-mclab)

• 描述: 在NTNU的Marine Cybernetics Laboratory手动驾驶Ariel收集的2条轨迹
• 轨迹详情:

编号	长度 (m)	时长 (s)	大小 (GB)
1	135	390	15.4
2	125	304	15.0

校准信息

• 摄像头-IMU校准:
  • 使用Kalibr工具箱校准
  • 校准数据位于calibrations目录
• 气压计校准:

  • 深度计算公式：

    barometer_pressure_offset = 2660.0 barometer_pressure_scale = 241.0 depth = - (barometer_measurement - baro_pressure_offset_) / baro_pressure_scale

引用

• 论文标题: An Online Self-Calibrating Refractive Camera Model with Application to Underwater Odometry
• 作者: Mohit Singh, Mihir Dharmadhikari, Kostas Alexis
• 会议: IEEE International Conference on Robotics and Automation (ICRA), 2024
• DOI: 10.1109/ICRA57147.2024.10610643

联系方式

• Mohit Singh: [e-mail]
• Kostas Alexis: [e-mail]

搜集汇总

数据集介绍

构建方式

该数据集由挪威科技大学自主机器人实验室构建，通过定制的水下机器人Ariel在室内控制环境和自然水下环境中采集多传感器数据。数据采集平台配备了5个摄像头、1个惯性测量单元(IMU)、气压计以及ROV执行器命令，采用ROS系统记录原始传感器数据。数据集按照不同环境分为多个子集，每个子集包含若干条轨迹数据，每条轨迹都包含原始传感器数据的ROS包文件和由ReAqROVIO算法生成的标准轨迹文件。

特点

该数据集最显著的特点是提供了多摄像头水下视觉-惯性数据，涵盖了受控实验室环境和真实峡湾水域两种典型场景。数据集包含丰富的传感器信息，特别是五个摄像头的同步数据为研究水下多视角视觉问题提供了独特资源。每条轨迹都标注了精确的长度、持续时间和数据大小，便于研究者进行实验规划。此外，数据集还提供了完整的传感器标定参数，包括基于Kalibr工具箱的相机-IMU标定结果和水下气压计的深度换算公式。

使用方法

使用者可通过Hugging Face Hub的Python库快速下载完整数据集，或使用git-lfs工具进行手动克隆。数据集支持多种水下状态估计算法的验证，如ReAqROVIO和DeepVL等。每个子集目录下包含的ROS包文件可直接用于机器人操作系统环境，而TUM格式的轨迹文件便于进行算法性能评估。研究者可基于该数据集开展水下视觉惯性里程计、多传感器融合等方向的研究工作，数据集提供的标准轨迹可作为算法评估的基准参考。

背景与挑战

背景概述

由挪威科技大学自主机器人实验室（Autonomous Robots Lab, NTNU）于2024年发布的Multi-Camera Underwater Visual-Inertial Dataset，标志着水下机器人感知技术的重要进展。该数据集通过搭载五目相机、惯性测量单元（IMU）、气压计及ROV执行器指令的多传感器系统，在特隆赫姆峡湾自然水域与室内受控实验池中采集了多维时空数据，旨在解决水下复杂环境中视觉-惯性里程计（VIO）的精度退化问题。其创新性地采用折射相机模型在线标定方法，相关成果已发表于机器人领域顶会ICRA 2024，为水下自主导航算法验证提供了首个公开的多相机-惯性基准数据集。

当前挑战

水下环境的光学折射效应与悬浮颗粒散射导致传统视觉SLAM特征点稳定性下降，是该数据集试图解决的核心领域挑战。在构建层面，传感器同步精度受水压变化影响，需开发专用时间对齐算法；多相机系统的水下标定需克服折射界面动态变化难题，研究者通过改进Kalibr工具箱实现亚像素级精度。数据采集过程中，峡湾强水流干扰ROV轨迹规划，迫使采用人工操控与事后轨迹优化相结合的混合方案，最终通过ReAqROVIO算法生成基准轨迹以补偿运动失真。

常用场景

经典使用场景

在水下机器人领域，多相机视觉-惯性数据集为复杂环境下的状态估计与导航算法提供了关键验证平台。该数据集通过整合五个相机、IMU、气压计和执行器指令的多模态数据，特别适用于评估水下环境中折射效应补偿、多传感器融合等算法的鲁棒性。研究者可基于室内水池与自然海域的对比数据，系统分析不同水质条件对视觉惯性里程计性能的影响。

解决学术问题

该数据集有效解决了水下机器人领域三大核心挑战：折射介质中的相机标定难题、低能见度环境下的特征跟踪失效问题，以及水流扰动导致的惯性测量漂移问题。通过提供精确的时间同步数据和多视角观测，它使研究者能够验证如ReAqROVIO等创新算法在真实场景中的性能，推动水下SLAM技术向实用化迈进。

衍生相关工作

基于该数据集衍生的经典工作包括：提出折射自适应模型的ReAqROVIO算法，其通过在线标定克服水下光学畸变；DeepVL框架利用深度学习提升低纹理环境下的速度估计精度。相关成果已在ICRA等顶级会议形成系列研究，推动水下状态估计从理论模型向工程实践转化。