Griffin

Griffin数据集是由清华大学等机构发布的大型多模态数据集，包含超过200个动态场景，超过30,000帧，具有不同的无人机高度、多样的天气条件和考虑遮挡的3D标注。数据集通过CARLA-AirSim联合仿真增强现实无人机的动态特性。

The Griffin Dataset is a large-scale multimodal dataset released by Tsinghua University and other institutions. It contains over 200 dynamic scenarios and more than 30,000 frames, with varying drone altitudes, diverse weather conditions, and 3D annotations that account for occlusion. The dynamic characteristics of simulated drones are enhanced via the co-simulation of CARLA and AirSim.

搜集汇总

数据集介绍

构建方式

Griffin数据集的构建采用了模块化架构，结合了CARLA和AirSim平台，通过模拟真实世界中的无人驾驶环境和无人机动态，收集了超过30,000帧图像数据，覆盖了多种无人机飞行高度、天气条件和物体遮挡情况。数据采集框架包括一个基于Unreal Engine 4的服务器和一个Python客户端，其中Python客户端包含了四个专门的管理器，分别负责车辆规划控制、无人机轨迹生成、环境配置和传感器数据管理。数据预处理阶段，对多源数据进行时空对齐，并利用CARLA的实例分割地面真实接口进行遮挡感知的3D标注。

特点

Griffin数据集的特点在于其多模态性、遮挡感知标注、无人机动态模拟和多样性。数据集包含超过200个动态场景，涵盖了城市和郊区两种环境，以及多种天气条件和车辆速度。无人机飞行高度从20米到60米不等，确保了数据集的多样性。此外，数据集中的标注不仅包括目标类别、跟踪ID和9维边界框模型，还包括可见度比率，这使得数据集更适合研究遮挡场景下的感知问题。

使用方法

使用Griffin数据集进行研究和开发时，首先需要了解数据集的组织结构和标注信息。数据集包括多个场景，每个场景包含多个时间戳的图像数据和对应的标注信息。研究人员可以根据自己的需求选择合适的场景和任务，例如3D物体检测和3D物体跟踪。在使用数据集时，需要注意数据预处理，包括时空对齐和遮挡感知标注的处理。此外，研究人员还可以利用数据集提供的基准方法和评价指标来评估自己的算法性能。

背景与挑战

背景概述

在自动驾驶技术的发展中，尽管取得了显著进展，但目前的单视角系统在复杂环境中仍然面临着严重遮挡和视野受限的基本挑战。为了解决这些限制，越来越多的协作感知策略涌现出来，包括车对车（V2V）和车对基础设施（V2I）的合作。这些方法已经展示了可行的解决方案和在感知能力上的显著提升。然而，它们的实际实施通常需要大量的基础设施投资和联网车辆的广泛采用，这可能会带来经济障碍。相比之下，车对无人机或所谓的空中-地面协作（AGC）系统利用了空中的全景视图和地面级别的详细观察。无人机的集成提供了在关键应用中快速部署的独特优势，包括智慧城市、应急响应和安全巡逻，从而为动态环境感知提供了一个新的范例。尽管具有巨大的潜力，但开发有效的空中-地面协作感知系统仍然面临着两个关键的挑战。第一个挑战源于动态视角不匹配：与主要在水平平面上移动传感器的V2V和V2I协作不同，无人机引入了高度变化和动态俯仰/横滚角度变化，这使跨视图特征的校准变得复杂。第二个挑战是现有的无人机视图3D感知数据集仍然存在缺陷。如表I所示，CoPerception-UAV和UAV3D等数据集缺乏遮挡感知注释，导致边界框包括不可见区域的目标。同时，许多数据集采用过于简化的固定角度或固定高度的相机模型，这不能反映受风干扰和目标加速度等现实世界无人机动态的影响。受神话生物Griffin的启发，它结合了狮子的陆地力量和鹰的空中主导地位，我们旨在利用空中和地面视角的联合力量来克服这些挑战并增强自动驾驶的感知能力。为此，我们为空中-地面协作3D感知提出了以下贡献：Griffin，一个包含超过200个动态场景（30k+帧）的大型多模态数据集，具有不同的无人机高度（20-60m），多样化的天气条件和遮挡感知的3D注释，并通过CARLA-AirSim联合仿真增强了真实的无人机动态；一个统一的基准测试框架，用于评估空中-地面协作检测和跟踪任务，包括评估通信效率、延迟容忍度和高度适应性的协议；AGILE，一个实例级别的中间融合基准，通过基于查询的交互动态地对齐跨视图特征，在通信开销和感知精度之间取得了有利的平衡。广泛的实验证明了空中-地面协作感知的有效性，并展示了进一步研究的方向。数据集和代码可在https://github.com/wang-jh18-SVM/Griffin上获得。

当前挑战

空中-地面协作感知系统面临着两个关键的挑战。第一个挑战源于动态视角不匹配：与主要在水平平面上移动传感器的V2V和V2I协作不同，无人机引入了高度变化和动态俯仰/横滚角度变化，这使跨视图特征的校准变得复杂。第二个挑战是现有的无人机视图3D感知数据集仍然存在缺陷。例如，CoPerception-UAV和UAV3D等数据集缺乏遮挡感知注释，导致边界框包括不可见区域的目标。同时，许多数据集采用过于简化的固定角度或固定高度的相机模型，这不能反映受风干扰和目标加速度等现实世界无人机动态的影响。为了克服这些挑战，Griffin数据集提供了高保真的3D注释，覆盖了六种对象类别：行人、汽车、卡车、公共汽车、摩托车和自行车。注释包括类别标签、跟踪ID、可见率以及由x、y、z、长度、宽度、高度、翻滚、俯仰和偏航定义的9维边界框模型。为了解决现有数据集中遮挡判断的常见问题，我们开发了一种利用CARLA的实例分割地面真实接口的可视性量化方法。在数据收集过程中，RGB和分割图像使用相同的传感器配置记录，以保持时空对齐。在后期处理阶段，我们从每个目标的边界框内采样点并将其投影到分割地面真实值上。然后通过比较采样像素和相应目标之间的语义类别和实例ID来计算可见率。过滤掉可见性低的目标，以确保注释精度。

常用场景

经典使用场景

在自动驾驶技术不断进步的背景下，现有的单视角系统在复杂环境中的严重遮挡和有限的视野仍然面临着基本挑战。为了解决这些限制，越来越多的合作感知策略已经出现，包括车辆与车辆（V2V）[1]、[2]和车辆与基础设施（V2I）[3]、[4]的合作。这些方法已经证明了可行的解决方案，并在感知能力方面有了显著的提高。然而，它们的实际应用通常需要大量的基础设施投资和联网车辆的广泛采用，这可能存在经济障碍。相比之下，车辆与无人机或所谓的空中地面合作（AGC）系统利用了空中全景视图和地面详细观察。无人机的集成提供了独特的优势，可以在关键应用中快速部署，包括智能城市、应急响应和安全巡逻，从而为动态环境感知提供了一个新的范例。

实际应用

AGC系统在智能城市、应急响应和安全巡逻等关键应用中具有快速部署的独特优势。此外，AGC系统还可以用于交通监控、灾害评估、环境保护和农业监测等领域，为这些领域提供了一种新的解决方案。

衍生相关工作

尽管近年来在合作感知方法方面取得了进展，但专门为空中地面合作设计的合作感知方法仍然研究不足，这主要是因为缺乏专门针对此类场景的公开数据集。Minaeian等人[21]最早研究了这一领域，提出了一种基于视觉的解决方案，用于涉及多个无人机/地面代理的目标检测和定位。最近，UVCPNet [9]引入了一个综合框架，用于空中地面合作。该框架通过大量的统计证据证明了空中-地面合作感知的有效性。然而，研究中使用的数据集并未公开，这限制了更广泛的研究社区在现有工作基础上进行构建的能力。