USTC FLICAR Dataset

USTC FLICAR数据集由中国科学技术大学创建，专注于重型自主空中作业机器人的同时定位与地图构建及精确三维重建。该数据集基于名为“长颈鹿”的基于高空作业车的机器人平台，装备有四种3D激光雷达、两对立体相机、两个单目相机、惯性测量单元（IMU）和GNSS/INS系统。数据集扩展了典型的自动驾驶感知系统，结合高空作业车，创建了一个多功能的自主空中作业平台。此外，基于Segment Anything Model（SAM），生成了提供多模态连续数据在时空维度上的精细语义分割标注的Semantic FLICAR数据集。该数据集旨在解决复杂空中作业环境中的感知和交互问题，提高作业效率和安全性。

USTC FLICAR Dataset is developed by the University of Science and Technology of China, focusing on simultaneous localization and mapping (SLAM) and accurate 3D reconstruction for heavy-duty autonomous aerial working robots. This dataset is based on an aerial lift vehicle-mounted robotic platform named "Giraffe", which is equipped with four 3D LiDARs, two pairs of stereo cameras, two monocular cameras, an Inertial Measurement Unit (IMU), and a GNSS/INS system. The dataset expands upon typical autonomous driving perception systems and integrates with aerial lift vehicles to create a multifunctional autonomous aerial working platform. Furthermore, based on the Segment Anything Model (SAM), the Semantic FLICAR dataset has been generated, which provides fine-grained semantic segmentation annotations for multi-modal sequential data across spatial and temporal dimensions. This dataset aims to address perception and interaction problems in complex aerial working environments, and improve operational efficiency and safety.

搜集汇总

数据集介绍

构建方式

USTC FLICAR 数据集的构建基于一个名为“长颈鹿”的空中工作机器人，该机器人搭载在吊车上，配备有四种 3D 激光雷达、两个立体相机、两个单目相机、惯性测量单元 (IMU) 和全球定位系统/惯性导航系统 (GNSS/INS)。此外，还使用激光跟踪器记录毫米级真实值位置。数据集还包括其地面双胞胎“奥卡皮”机器人收集的数据进行比较。该数据集扩展了典型的自动驾驶感知套件，展示了将自动驾驶感知系统与吊车结合以创建通用空中工作平台的潜力。

特点

USTC FLICAR 数据集具有以下特点：1. 传感器丰富：包括四种 3D 激光雷达、七个相机（包括两个立体相机对）、三个 IMU 和一个 GNSS/INS 系统，覆盖了 360 度的水平垂直视图。2. 高精度：使用激光跟踪器获得毫米级户外真实值位置。3. 多样性：收集了白天、傍晚和夜间以及不同天气条件下的数据，以确保空中工作机器人可以全天候工作。4. 语义标注：基于 Segment Anything 模型 (SAM) 生成语义 FLICAR 数据集，提供精细的语义分割标注。

使用方法

使用 USTC FLICAR 数据集时，用户需要关注以下问题：1. 相机过曝和光照不足：在直射阳光和夜间光线不足的情况下，相机可能会出现过度曝光或曝光不足的情况。2. 运动模糊：在光线不足的情况下，相机可能会出现运动模糊。3. Ouster 和 LiVOX 激光雷达 rostopics 的时间戳：请关注 Ouster 和 LiVOX 激光雷达 rostopics 中的时间戳。4. 语义分割标签边缘的准确性：请关注语义分割标签边缘的准确性，尤其是在 SAM 生成的标签中。

背景与挑战

背景概述

USTC FLICAR 数据集的创建源于对重载型自主空中作业机器人同时定位与建图（SLAM）和精确三维重建工作空间的迫切需求。近年来，众多公开数据集在推动自动驾驶汽车和无人机的技术进步中发挥了重要作用。然而，无人机在有效载荷能力方面存在限制，而汽车则受限于二维运动。为了填补这一空白，研究人员开发了一种名为“长颈鹿”的地图机器人，它基于吊车，配备了多种经过精确校准和同步的传感器，包括四个3D激光雷达、两个立体相机、两个单目相机、惯性测量单元（IMU）和一个GNSS/INS系统。该数据集旨在扩展典型的自动驾驶传感器套件，并将其应用于空中场景，展示了将自动驾驶感知系统与吊车相结合以创建多功能自主空中工作平台的潜力。此外，基于 Segment Anything 模型（SAM），研究人员还创建了语义 FLICAR 数据集，该数据集为多模态连续数据提供了细粒度的语义分割标注，涵盖时间和空间维度。

当前挑战

USTC FLICAR 数据集面临的挑战包括：1) 复杂的空中工作环境对机器人的感知和交互能力提出了更高的要求。空中工作环境通常杂乱无章且无结构，这使得依靠一般结构化特征来提高算法性能变得困难。此外，空中环境可能比地面环境更稀疏，这给视觉或激光雷达 SLAM 带来了更大的挑战，因为匹配和回环检测变得更加困难。2) 空中工作机器人面临着与地面机器人相似的困难，例如在天气条件不同的各种光照条件下应对。直接阳光或夜晚的黑暗可能会导致视觉传感器失效。3) 由于传感器平台在运动过程中会发生大幅度的旋转，因此需要对多个传感器进行精确的时间同步和空间校准，以确保传感器数据的空间和时间融合。4) 语义分割标注的精度和完整性仍然是一个挑战，尤其是在物体边缘和低分辨率激光雷达数据中。

常用场景

经典使用场景

USTC FLICAR 数据集为重型自主空中作业机器人提供了同时定位与地图构建（SLAM）和精确的 3D 建模。该数据集包含丰富的传感器数据，包括四个 3D 激光雷达、两个立体相机、两个单目相机、惯性测量单元（IMU）和 GNSS/INS 系统。此外，还提供了基于 Segment Anything Model (SAM) 的语义分割标注数据，用于多模态连续数据在时间和空间维度上的细粒度语义分割。该数据集可用于测试和评估现有的 SLAM 算法，并开发更适合空中作业环境的算法。

衍生相关工作

USTC FLICAR 数据集衍生了一些相关的工作，例如基于该数据集开发的语义分割标注数据集 Semantic FLICAR。此外，该数据集还可用于测试和评估现有的 SLAM 算法，并开发更适合空中作业环境的算法。

数据集最近研究

最新研究方向

USTC FLICAR数据集专注于为重型自主空中工作机器人开发同时定位与建图和精确的3D重建工作空间。该数据集填补了地面和空中数据集之间的差距，结合了丰富的传感器数据和毫米级精度的3D运动地面真值。该数据集旨在帮助自主空中工作机器人有效地感知和与复杂的空中工作环境进行交互。此外，基于Segment Anything Model (SAM)，我们还制作了语义FLICAR数据集，它为多模态连续数据在时间和空间维度上提供了细粒度的语义分割注释。该数据集为测试现有算法的性能和发展更适合空中工作特定性的新算法提供了基准。

相关研究论文

• USTC FLICAR: A Sensors Fusion Dataset of LiDAR-Inertial-Camera for Heavy-duty Autonomous Aerial Work Robots

  中国科学技术大学 · 2023年