Varied Drone Dataset (VDD)

Varied Drone Dataset (VDD) 是由东南大学和南京航空航天大学合作创建的大型无人机图像数据集，包含400张高分辨率图像，涵盖城市、工业、乡村和自然等多种场景。该数据集通过不同的相机角度和光照条件捕捉，旨在为无人机图像的语义分割提供丰富的多样性。VDD不仅关注城市场景，还扩展到其他多种环境，如工业区、山区和水域。此外，数据集还包括不同季节和时间拍摄的图像，以增强其应用的广泛性。VDD的应用领域包括自动驾驶、遥感分析等，旨在解决无人机图像处理中的复杂场景理解和语义分割问题。Varied Drone Dataset (VDD) is a large-scale drone image dataset co-developed by Southeast University and Nanjing University of Aeronautics and Astronautics. It contains 400 high-resolution images covering various scenarios including urban, industrial, rural, and natural landscapes. Captured using varying camera angles and lighting conditions, this dataset is designed to provide abundant diversity for semantic segmentation of drone images. Beyond urban scenes, VDD also extends to multiple other environments such as industrial zones, mountainous regions, and water areas. Furthermore, the dataset includes images captured across different seasons and different times of day to broaden its applicability. Its application fields cover autonomous driving, remote sensing analysis and other related areas, aiming to address the challenges of complex scene understanding and semantic segmentation in drone image processing.

搜集汇总

数据集介绍

构建方式

Varied Drone Dataset (VDD) 是通过使用 DJI MAVIC AIR II 无人机收集 400 张高分辨率 (4000x3000 像素) 的 3 通道 RGB 图像构建的。数据收集工作在南京的 23 个地点进行，涵盖了城市住宅和商业区、城乡结合部、工业区和自然景观等不同场景。图像是从 50 米到 120 米的不同高度拍摄的，以确保场景的细节和复杂性。所有图像都使用 LabelMe 工具进行像素级标注，并由工程师团队完成。为了提高数据集的多样性，图像在不同的相机角度、场景、季节和光照条件下拍摄。此外，还根据 VDD 的标注标准对 UDD 和 UAVid 数据集进行了新的标注，并将它们集成到 Integrated Drone Dataset (IDD) 中。

使用方法

VDD 和 IDD 数据集可用于训练和评估无人机图像分割模型。数据集可以用于监督学习，也可以用于半监督学习和无监督学习。数据集的标注类别包括墙壁、屋顶、道路、水体、车辆、植被和其他。可以使用各种深度学习模型来训练和评估分割模型，例如 Mask2Former、SegFormer 和 UperNet。数据集的评估指标包括像素准确率和平均交并比 (mIoU)。

背景与挑战

背景概述

随着无人机技术的快速发展，无人机图像的语义分割在计算机视觉领域引起了广泛关注。语义分割能够提供地面场景的必要语义细节，对于各种空中视觉任务至关重要，例如深度估计、3D重建、障碍物规避和自适应路径规划。然而，现有的无人机数据集通常规模较小，且主要关注城市场景，缺乏大规模、多样化和高分辨率的无人机图像数据集。为了解决这一难题，东南大学和南京航空航天大学的联合研究团队于2023年8月创建了Varied Drone Dataset (VDD)数据集。VDD包含400张高分辨率图像，涵盖7个语义类别，并具有图像多样性。此外，研究团队还根据VDD的标注标准对UDD和UAVid两个现有数据集进行了新的标注，创建了包含811张图像的Integrated Drone Dataset (IDD)。该数据集的发布为无人机图像分割领域的研究提供了重要的数据基础，并有望推动其他无人机视觉任务的发展。

当前挑战

尽管VDD数据集在图像多样性、标注质量和数据规模方面取得了显著进展，但仍面临一些挑战。首先，数据集的规模相对有限，尽管400张高分辨率图像在数量上可能看起来有限，但这些空中场景高度复杂，包含许多相互连接的物体，直接计数单个物体并不可行。其次，尽管VDD数据集包含了城市、工业、农村和自然场景，但主要集中在中国东部温带城市的场景，缺乏不同文化背景下建筑结构的多样性。此外，由于无人机图像采集过程中可能引入个人选择偏差，因此数据集可能存在一定的偏差。最后，VDD数据集主要针对有监督学习，而半监督学习和无监督学习等新兴技术需要更多的图像进行训练，并且容易受到数据集中类别不平衡的影响。因此，在无人机图像上进行半监督或无监督语义分割仍然面临许多挑战。

常用场景

经典使用场景

VDD数据集主要用于无人机图像的语义分割任务，通过提供大量、密集标注的高分辨率图像，帮助研究人员训练和评估语义分割模型。这些模型可以应用于多种场景，包括城市、工业、农村和自然区域，以及不同的相机角度和光照条件下。VDD数据集的多样性使其成为无人机图像分割研究的理想选择，并为其他无人机视觉任务奠定了基础。

解决学术问题

VDD数据集解决了无人机图像分割研究中存在的几个关键问题。首先，它提供了一个大规模、多样化的数据集，克服了现有数据集规模较小、场景单一的局限性。其次，VDD数据集包含了不同相机角度、场景和光照条件下的图像，有助于提高模型的泛化能力。此外，VDD数据集还解决了数据集质量、版权和领域差距等问题，通过整合现有数据集并统一标注标准，创建了集成无人机数据集（IDD），为无人机图像分割研究提供了更大的便利。

实际应用

VDD数据集在实际应用中具有广泛的应用前景。例如，在自动驾驶领域，VDD数据集可以帮助车辆更好地理解地面环境，提高驾驶安全性。在遥感领域，VDD数据集可以用于土地资源识别和利用，促进资源管理。此外，VDD数据集还可以用于无人机路径规划、三维重建、障碍物检测等任务，为无人机技术的应用和发展提供支持。

数据集最近研究

最新研究方向

在语义分割领域，Varied Drone Dataset (VDD) 为无人机图像的语义分割研究提供了新的契机。该数据集的多样性涵盖了城市、工业、乡村和自然等多种场景，以及不同的相机角度和光照条件，使得训练出的模型能够更好地适应各种复杂的无人机图像场景。此外，VDD 还与其他数据集进行了整合，形成了 Integrated Drone Dataset (IDD)，进一步扩大了数据集的规模和多样性。基于 VDD 和 IDD 的训练，研究者可以探索更先进的语义分割模型，并在自动驾驶、遥感监测等领域取得更好的应用效果。

相关研究论文

• VDD: Varied Drone Dataset for Semantic Segmentation

  东南大学 · 2023年