U2UData

U2UData是由清华大学等机构创建的第一个大规模协作感知数据集，专为群无人机自主飞行设计。数据集覆盖9平方公里飞行区域，包含315K LiDAR帧、945K RGB和深度帧以及2.41M标注的3D边界框。数据集创建过程中，利用U2USim仿真环境，模拟了云南地区的4种地形和7种天气条件，并整合了8种传感器类型。该数据集主要用于解决无人机在复杂环境中的感知和决策问题，特别是在恶劣天气和多变地形条件下的自主飞行任务。

U2UData is the first large-scale collaborative perception dataset created by Tsinghua University and other institutions, specifically tailored for autonomous flight of drone swarms. It covers a flight area of 9 square kilometers, and contains 315K LiDAR frames, 945K RGB and depth frames, as well as 2.41M annotated 3D bounding boxes. During the dataset construction, the U2USim simulation environment was utilized to simulate 4 types of terrain and 7 weather conditions in the Yunnan region, with 8 types of sensors integrated. This dataset is primarily developed to address the perception and decision-making challenges of drones in complex environments, especially autonomous flight tasks under adverse weather and variable terrain conditions.

搜集汇总

数据集介绍

构建方式

U2UData数据集的构建是在U2USim模拟环境中，通过三架无人机自主飞行任务收集数据。U2USim环境模拟了9平方公里区域，包括4种地形、7种天气条件和8种传感器类型。数据收集包括315K LiDAR帧、945K RGB和深度帧，以及2.41M注释的3D边界框，涵盖了3个类别。此外，还收集了所有飞行路线上的亮度、温度、湿度、烟雾和气流值。

特点

U2UData数据集的特点是大规模、自主飞行、真实世界映射、多模态和不同的天气场景。它包含丰富的注释3D边界框，便于研究无人机群的协同感知。数据集提供了亮度、温度、湿度、烟雾和气流等多种模态，这些模态对无人机的飞行控制有很大影响。此外，U2UData数据集还引入了协同3D目标检测和协同3D目标跟踪两种感知任务。

使用方法

U2UData数据集的使用方法包括数据集的下载、预处理和模型训练。数据集被随机分为训练集、验证集和测试集，比例为0.7/0.15/0.15。研究人员可以使用各种协同感知算法对数据集进行训练和评估，以验证其在不同任务中的性能。此外，U2USim模拟环境也可以用于开发和测试新的协同感知算法。

背景与挑战

背景概述

随着无人机(UAV)技术的不断发展，其在自主飞行任务中的感知系统面临着诸多挑战，例如遮挡和感知距离有限等问题。为了克服这些局限，UAV-to-UAV(U2U)协同感知系统的研究逐渐兴起。然而，由于缺乏大规模数据集，该领域的研究进展缓慢。U2UData数据集的创建旨在填补这一空白，它是由清华大学计算机科学与技术系的团队于2024年开发的首个大规模协同感知数据集，专门用于群体无人机自主飞行。该数据集在U2USim环境中收集，覆盖了9平方公里的飞行区域，包括31.5万个LiDAR帧、94.5万个RGB和深度帧，以及241万个标注的3D边界框。U2USim是首个真实世界映射的群体无人机模拟环境，以中国云南省为原型，包括4种地形、7种天气条件和8种传感器类型。U2UData数据集的创建对于推动U2U协同感知技术的发展具有重要意义，它为研究提供了丰富的数据和基准测试，有助于提高无人机自主飞行的灵活性和鲁棒性。

当前挑战

U2UData数据集的创建和利用面临着多方面的挑战。首先，在解决领域问题方面，U2U协同感知系统需要克服遮挡和感知距离有限的挑战，以便在自主飞行任务中提供更准确的导航和路径规划。其次，在构建过程中，收集包含亮度、温度、湿度、烟雾和气流等多种模态信息的数据集是一项复杂的任务，因为它们与地形和气象密切相关，并且彼此之间存在强烈的相互作用。此外，数据集的创建还需要解决通信带宽限制、位置误差和异步性问题。最后，由于无人机在飞行过程中可能会遇到不同的天气和地形条件，因此需要对数据集进行充分的标注和验证，以确保其在现实世界中的适用性和泛化能力。

常用场景

经典使用场景

U2UData数据集主要应用于群组无人机自主飞行中的协同感知任务，包括协同三维目标检测和协同三维目标跟踪。数据集涵盖了9平方公里飞行区域的315K激光雷达帧、945K RGB和深度帧、2.41M标注的3D边界框，以及亮度、温度、湿度、烟雾和气流数据。这些数据可以用于训练和评估协同感知算法，提高无人机在复杂环境中的感知能力。

衍生相关工作

U2UData数据集衍生了大量的相关经典工作，包括协同感知算法、无人机协同飞行控制等。这些工作基于U2UData数据集进行了深入的算法研究和实验验证，取得了显著的成果。例如，一些研究利用U2UData数据集训练的协同感知算法，实现了无人机在复杂环境中的高精度目标检测和跟踪。

数据集最近研究

最新研究方向

随着无人机技术的飞速发展，群体无人机自主飞行在诸多领域展现出巨大的潜力，然而，无人机感知系统在遮挡和长距离感知能力上的局限性成为了制约其进一步发展的瓶颈。U2UData数据集的提出，正是为了解决这一难题。该数据集首次实现了大规模的无人机协同感知，通过模拟真实世界环境，收集了315K LiDAR帧，945K RGB和深度帧，以及2.41M标注的3D边界框，为研究提供了丰富的数据资源。同时，U2USim仿真环境的构建，使得无人机能够像人类一样感知世界，从而做出最优决策。U2UData数据集的引入，推动了协同感知算法在3D目标检测和3D目标跟踪任务上的研究，为无人机自主飞行领域的研究提供了新的方向。

相关研究论文

• U2UData: A Large-scale Cooperative Perception Dataset for Swarm UAVs Autonomous Flight

  清华大学 · 2024年