U2UData

U2UData是由清华大学和北京电影学院联合开发的大规模合作感知数据集，专门用于集群无人机自主飞行。该数据集包含315,000个LiDAR帧、945,000个RGB和深度帧以及241万个标注的3D边界框，涵盖3个类别。数据集的创建过程涉及在U2USim环境中进行三架无人机的自主飞行，覆盖9平方公里的飞行区域。U2UData主要用于解决无人机在复杂环境中的感知和导航问题，特别是在多变的地形和气象条件下。

U2UData is a large-scale collaborative perception dataset jointly developed by Tsinghua University and Beijing Film Academy, specifically designed for autonomous flight of swarm drones. This dataset contains 315,000 LiDAR frames, 945,000 RGB and depth frames, as well as 2.41 million annotated 3D bounding boxes covering 3 categories. The dataset was created through autonomous flight of three drones in the U2USim environment, covering a flight area of 9 square kilometers. U2UData is primarily used to address the perception and navigation challenges of drones in complex environments, especially under variable terrain and meteorological conditions.

搜集汇总

数据集介绍

构建方式

U2UData数据集的构建是通过在U2USim环境中让三架无人机自主飞行完成的。这个环境覆盖了9平方公里的飞行区域，收集了315K LiDAR帧，945K RGB和深度帧，以及2.41M个3D边界框标注，涵盖3个类别。此外，数据集还包含了覆盖所有飞行路线的亮度、温度、湿度、烟雾和气流值。U2USim是一个现实世界映射的无人机群模拟环境，以云南省为原型，包括4种地形，7种天气条件和8种传感器类型。

使用方法

U2UData数据集的使用方法包括以下步骤：首先，在U2USim环境中进行数据收集，包括RGBD相机、LiDAR和其他传感器数据。然后，使用SUSTechPoint等工具进行3D边界框标注。最后，将数据集划分为训练集、验证集和测试集，并使用先进的协同感知算法进行基准测试。U2UData数据集为研究无人机群的协同感知提供了宝贵的数据资源。

背景与挑战

背景概述

随着无人机在自主飞行任务中的感知系统在现代的发展，对遮挡敏感和长距离能力有限的缺陷成为提高低空经济任务性能的关键瓶颈。为了解决这些问题，研究团队提出了无人机之间的协作感知系统，这一系统具有颠覆自主飞行产业的巨大潜力。然而，由于缺乏大规模的数据集，这一领域的研究进展受到阻碍。为此，清华大学计算机科学与技术系的团队开发了一个名为U2UData的大型协作感知数据集，用于无人机群的自主飞行。该数据集是在U2USim环境中，通过三架无人机自主飞行收集的，涵盖了9平方公里的飞行区域。数据集包括31.5万帧激光雷达数据，94.5万帧RGB和深度图像，以及241万个3D边界框标注。此外，数据集还包括覆盖所有飞行路线的亮度、温度、湿度、烟雾和气流值。U2USim是第一个真实世界映射的无人机群模拟环境，以云南省为原型，包括4种地形、7种天气条件和8种传感器类型。U2UData引入了两种感知任务：协作3D目标检测和协作3D目标跟踪。该研究为这些任务提供了8个最先进的协作感知算法的全面基准测试。

当前挑战

尽管U2U协作感知系统具有巨大潜力，但在实际应用中仍面临诸多挑战。首先，单个无人机的感知系统对遮挡敏感，长距离能力有限，这限制了其在复杂环境中的性能。其次，现有的协作感知数据集大多依赖于开源模拟器，且只考虑了有限的地形、天气和传感器类型，难以满足实际飞行场景的需求。此外，无人机群的自主飞行模式更加灵活，需要考虑无人机之间的异步性和位置误差。最后，传感器数据的多模态融合和通信带宽的限制也是需要解决的挑战。为了克服这些挑战，研究团队开发了U2UData数据集，并构建了U2USim模拟环境，以模拟真实世界的飞行场景，并提供了丰富的传感器数据。此外，研究团队还引入了协作3D目标检测和协作3D目标跟踪任务，并提供了8个最先进的协作感知算法的基准测试。这些工作有望推动无人机群自主飞行中协作感知技术的发展。

常用场景

经典使用场景

U2UData数据集为无人机群自主飞行任务中的协同感知提供了宝贵资源。在无人机群自主飞行任务中，每架无人机通过箭头指示保护一个动物，如图1所示。U2UData包含来自每个无人机的第一人称视角和LiDAR图像，以及无人机群协同感知基准。该数据集的收集是通过在U2USim环境中执行无人机群自主飞行任务来完成的。U2USim是一个真实世界映射的无人机群模拟环境，它以云南省为原型，包括4种地形、7种天气条件和8种传感器类型。U2UData引入了两种感知任务：协同3D目标检测和协同3D目标跟踪。该数据集为研究无人机群协同感知算法提供了全面基准。

解决学术问题

U2UData数据集解决了无人机群自主飞行任务中感知系统对遮挡敏感和长距离感知能力有限的问题。这些局限性是由于单个无人机的视野有限，导致对环境的理解不完整。通过利用UAV-to-UAV（U2U）技术，多个互联和自动化的无人机可以同时通信和共享捕获的传感器信息。这种新的范式具有克服单个无人机感知局限性的潜力。然而，由于缺乏公共数据集，在现实世界场景中验证U2U感知仍然具有挑战性。U2UData数据集为研究无人机群协同感知算法提供了全面基准，有助于解决这些问题。

实际应用

U2UData数据集在现实世界中的实际应用场景包括无人机群自主飞行任务，如动物保护、环境监测和灾害响应。该数据集包含的传感器数据，如亮度、温度、湿度和气流值，可以帮助无人机更好地理解和适应不同的环境条件。此外，U2UData数据集还可以用于训练无人机群协同感知算法，以提高无人机群在复杂环境中的感知能力和鲁棒性。

数据集最近研究

最新研究方向

U2UData数据集的提出，标志着无人机群组协同感知领域的研究迈出了重要一步。该数据集通过模拟真实世界的复杂环境，收集了大量无人机自主飞行任务中的感知数据，包括LiDAR、RGB和深度图像，以及注解的三维边界框。这些数据为研究无人机群组在复杂环境下的感知能力提供了宝贵的资源。U2UData数据集的另一个重要贡献是引入了两种感知任务：协同三维物体检测和协同三维物体跟踪。通过对现有协同感知算法的全面基准测试，该数据集展示了其在多个任务上的有效性，为无人机群组协同感知算法的研究提供了新的方向和挑战。

相关研究论文

• U2UData: A Large-scale Cooperative Perception Dataset for Swarm UAVs Autonomous Flight

  清华大学 · 2024年