FLSea

FLSea数据集是由海法大学的海洋技术系创建，专注于水下视觉-惯性和立体视觉的前视数据。该数据集包含5个立体视觉数据集和8个视觉-惯性数据集，每个数据集包含数千张图像，涵盖不同的水下能见度和环境光条件。数据集的创建过程涉及使用商业摄影测量软件Agisoft Metashape生成离线地面实况深度图。FLSea数据集主要用于开发水下应用，如自主避障、视觉里程计、3D跟踪、同时定位与地图构建（SLAM）和深度估计。The FLSea dataset was created by the Department of Marine Technology at the University of Haifa, focusing on forward-looking underwater visual-inertial and stereo vision data. It includes 5 stereo vision datasets and 8 visual-inertial datasets, each containing thousands of images covering various underwater visibility and ambient lighting conditions. The dataset creation process involves using the commercial photogrammetry software Agisoft Metashape to generate offline ground-truth depth maps. The FLSea dataset is mainly used for developing underwater applications such as autonomous obstacle avoidance, visual odometry, 3D tracking, simultaneous localization and mapping (SLAM), and depth estimation.

搜集汇总

数据集介绍

构建方式

在海洋机器人视觉感知领域，FLSea数据集的构建采用了两种水下成像平台：由潜水员手持的立体相机系统和BlueROV2遥控水下航行器。立体数据集通过两台硬件同步的Nikon D810相机在固定基线下采集，以10赫兹频率捕获1280×720分辨率的同步立体图像对；视觉-惯性数据集则利用IDS单目相机与VectorNav IMU组合，以10赫兹采集968×608分辨率图像，并同步记录20至100赫兹的惯性测量数据。所有数据均在以色列地中海与红海海域的真实水下环境中获取，场景中布设了已知尺寸的标定物体，并通过商业摄影测量软件Agisoft Metashape离线生成每帧图像的尺度化稠密深度图作为真值。

特点

FLSea数据集的核心特点在于其独特的前视水下视觉配置，涵盖了动态水下环境中的立体视觉与视觉-惯性两种模态。数据集中包含5组立体与8组视觉-惯性序列，总计数万帧图像，覆盖了从3至8米水深范围的自然峡谷、人工结构及平坦海床等多种场景。数据集不仅提供了原始图像与经SeaErra软件增强的版本，还包含了精确的相机内参、外参标定结果、毫秒级时间戳对齐的IMU数据，以及通过摄影测量技术生成的尺度化稠密深度真值。其前视视角与复杂的水下光学现象（如衰减、散射、焦散效应）相结合，为水下障碍物避障、同步定位与建图等任务提供了极具挑战性的测试基准。

使用方法

该数据集适用于水下机器人视觉算法的开发与评估，尤其面向需要前视感知的自主导航应用。研究者可利用立体图像对进行立体匹配、深度估计与立体SLAM算法的验证；视觉-惯性数据则可用于视觉惯性里程计（VIO）与视觉惯性SLAM（VI-SLAM）的尺度恢复与位姿估计性能测试。数据集提供的尺度化深度真值可用于监督式深度估计网络的训练，或作为无监督方法的评估基准。使用时应依据数据包中的标定参数对图像进行去畸变处理，并利用时间戳对齐图像与IMU数据；深度真值可用于定量分析算法输出的绝对尺度误差，而多种水下环境条件则有助于评估算法的鲁棒性与泛化能力。

背景与挑战

背景概述

FLSea数据集由以色列海法大学VISEAON海洋成像实验室于2023年创建，旨在解决水下机器人视觉感知领域的前向观测难题。该数据集聚焦于复杂浅水环境中自主水下航行器的实时三维重建与导航问题，通过提供双目视觉和视觉-惯性两种传感器配置的前向观测数据，填补了该方向公开数据集的空白。其核心价值在于为水下障碍物避障、视觉里程计、同步定位与建图以及深度学习深度估计等关键任务提供了标准化测试基准，推动了水下自主系统在近海底动态环境中的技术发展。

当前挑战

FLSea数据集致力于解决水下前向视觉三维重建的尺度估计与感知鲁棒性挑战。水下环境的光线衰减、悬浮物散射及低对比度特性导致图像质量严重退化，传统单目视觉方法无法恢复度量尺度，而声学传感器在近距离感知中存在分辨率不足的局限。在数据构建过程中，研究团队面临水下真值获取的经典难题：GPS信号失效，激光雷达因散射效应受限，迫使采用基于运动恢复结构的摄影测量软件生成深度图，并通过场景中布置的已知尺寸物体进行尺度验证。此外，数据采集需克服硬件同步、曝光控制及动态环境下的运动模糊等多重工程挑战。

常用场景

经典使用场景

在海洋机器人学与水下计算机视觉领域，FLSea数据集为前视方向的水下感知研究提供了关键基准。其经典应用场景集中于评估和开发视觉惯性里程计（VIO）与同步定位与建图（SLAM）算法，特别是在动态、能见度多变的水下环境中。数据集包含的立体视觉和单目视觉-惯性配置，结合精确的时间戳同步与已知尺寸的标定物体，使得研究者能够系统测试算法在复杂海底地形（如峡谷、珊瑚礁）中的尺度估计、位姿跟踪和三维重建性能。

衍生相关工作

围绕FLSea数据集，已衍生出多个重要的研究方向与算法改进工作。在视觉-惯性SLAM方面，研究者利用其精确的IMU与图像同步数据，优化了水下环境中的状态估计与尺度恢复方法。在深度学习领域，该数据集被用于训练和评估单目深度估计网络在水下的泛化能力。此外，数据集提供的增强版图像（经SeaErra处理）促进了水下图像质量提升与特征匹配算法的比较研究，为后续如水下稠密重建、实时语义分割等工作的开展奠定了基础。

数据集最近研究

最新研究方向

FLSea数据集作为水下机器人视觉领域的前瞻性资源，其前视配置正推动着复杂近海环境自主导航算法的革新。当前研究聚焦于利用其同步立体视觉与视觉-惯性数据流，开发能够应对水下光学衰减、散射及动态光照变化的鲁棒性SLAM与视觉里程计系统。该数据集提供的毫米级时间戳对齐与经商业摄影测量软件验证的真值深度图，为基于深度学习的单目深度估计模型提供了稀缺的水下监督训练样本。相关热点集中于将视觉-惯性SLAM与深度学习融合的混合架构，以实现在能见度多变、结构非规则的水下峡谷与珊瑚礁区域的实时三维重建与避障。这些进展对深海勘探、水下基础设施巡检及生态监测等应用具有关键意义，填补了前视水下视觉基准数据的空白，加速了水下自主系统在动态浅水环境中的实用化进程。

相关研究论文

• FLSea: Underwater Visual-Inertial and Stereo-Vision Forward-Looking Datasets

  海洋技术系，海法大学，海法，以色列 · 2023年