Meehai/dronescapes

Dronescapes数据集是一个包含从无人机拍摄的视频中提取的多种表示形式的数据集，如RGB、光流、深度、边缘、语义分割等。数据集可以通过HuggingFace直接下载，也可以从原始视频和标签生成。数据集的大小约为500GB，包含多个场景的视频数据，并且提供了详细的生成和处理步骤。数据集还提供了训练、验证、半监督和测试集的划分，并提供了查看数据的工具。

The Dronescapes dataset is a collection of multiple representations extracted from drone-captured videos, including RGB, optical flow, depth, edges, semantic segmentation, and more. The dataset can be downloaded directly from HuggingFace or generated from raw videos and labels. The dataset is approximately 500GB in size and includes video data from multiple scenes, along with detailed steps for generation and processing. The dataset also provides splits for training, validation, semi-supervised, and test sets, and includes tools for viewing the data.

原始信息汇总

Dronescapes 数据集概述

数据集下载

预处理数据集下载

• 方式1: 通过HuggingFace仓库下载预处理数据集。 bash git lfs install git clone https://huggingface.co/datasets/Meehai/dronescapes

  注意：数据集大小约为300GB。

从原始视频和基本标签生成数据集

• 方式2: 推荐用于理解数据集创建过程或添加新视频及表示。
  • 1.2.1 原始视频: 提供4K视频的命令和预处理的540p视频。
  • 1.2.2 语义分割标签: 人工标注后使用segprop传播。
  • 1.2.3 生成其他表示: 使用video-representations-extractor生成其他标签。
  • 1.2.4 转换Mask2Former: 使用scripts/convert_m2f_to_dronescapes.py将Mapillary或COCO类转换为dronescapes兼容的8类。
  • 1.2.5 检查计数一致性: 运行bash scripts/count_npz.sh raw_data/npz_540p检查数据一致性。
  • 1.2.6 分割为训练、验证、半监督和测试集: 使用scripts/symlinks_from_txt_list.py根据文本文件分割数据。
  • 1.2.7 转换相机法线到世界法线: 可选步骤，提供相机旋转矩阵用于转换。

数据使用

使用提供的查看器

• 基本用法: bash python scripts/dronescapes_viewer.py data/test_set_annotated_only/

语义分割评估

• 使用scripts/evaluate_semantic_segmentation.py进行评估。 bash python scripts/evaluate_semantic_segmentation.py y_dir gt_dir -o results.csv --classes C1 C2 .. Cn [--class_weights W1 W2 ... Wn] [--scenes s1 s2 ... sm]

以上信息概述了Dronescapes数据集的下载、生成、转换、分割和使用方法。

搜集汇总

数据集介绍

构建方式

在无人机视觉感知领域，高质量多模态数据的匮乏制约着相关算法的发展。Dronescapes数据集通过系统化采集与标注流程构建而成，其基础数据源自八个不同地理场景的无人机航拍视频序列。构建过程中，研究团队采用多阶段处理策略：首先从原始视频流中提取关键帧，随后运用先进计算机视觉算法生成密集的多任务标注，包括深度估计、表面法线、光流、边缘检测及语义分割等多种模态。数据集特别注重标注的多样性与互补性，融合了传统几何重建方法与现代深度学习模型的输出结果，形成了丰富的多任务表征体系。原始传感器数据如GPS坐标与相机旋转矩阵亦被完整保留，为后续算法开发提供了坚实的几何基础。

特点

该数据集在无人机视觉领域展现出鲜明的多模态与多任务特性。其核心优势在于同时提供十一种不同视觉任务的密集标注，涵盖深度、法线、光流、语义分割等多个维度，且每种任务常包含多种算法生成的互补版本。数据分辨率统一为540×960像素，确保了不同模态间的一致性。数据集规模约200GB，包含八个独立场景，并严格遵循论文划分标准分为训练集、验证集与测试集，其中测试集包含未见过的场景以评估模型泛化能力。尤为突出的是，数据集不仅包含算法生成的标注，还提供了部分场景的人工精校语义分割真值，为算法评估建立了可靠基准。这种多层次、多来源的标注体系为研究跨模态表示学习与多任务联合优化提供了理想实验平台。

使用方法

为便于研究者使用，数据集提供了多种访问与探索方式。用户可通过Git LFS克隆整个仓库获取全部数据，亦可利用附带的Python脚本与Jupyter Notebook进行交互式数据浏览。数据集采用模块化目录结构，不同任务的数据分别存储于独立子目录中，并配有专门的多任务数据加载器，能够灵活处理缺失数据。对于算法评估，特别是语义分割任务，官方提供了标准化的评估脚本，支持按场景计算加权平均交并比与F1分数等指标，并可复现论文中的基准结果。数据集还鼓励实时推理模型的开发，要求模型在特定硬件配置下达到最低帧率，并提供了参考实现。这种从数据加载、可视化到基准测试的完整工具链，显著降低了使用门槛，促进了研究成果的可复现性与可比性。

背景与挑战

背景概述

无人机视觉领域近年来发展迅猛，对多模态、多任务学习模型的需求日益增长。Dronescapes数据集由Alina Marcu、Mihai Pirvu等研究人员于2023年构建，并在ICCV 2023研讨会上首次发布，旨在为无人机航拍视频提供丰富的多任务标注。该数据集的核心研究问题聚焦于如何从单一视觉输入中同时解析深度、法线、语义分割、光流等多种世界解释，推动计算机视觉模型向更全面的环境理解迈进。其影响力体现在为半监督、多模态学习提供了基准测试平台，促进了轻量级实时模型在边缘设备上的部署研究。

当前挑战

Dronescapes数据集致力于解决无人机视觉中的多任务联合理解问题，其核心挑战在于如何设计统一模型以同时精准预测深度、表面法线、语义分割等异构任务，并保持实时推理效率。构建过程中的挑战则体现在多模态数据对齐与标注一致性上，例如不同深度估计算法（如DPT、SfM、UFO）产生的数据需协调统一，部分场景的GPS数据缺失也增加了空间信息重建的难度。此外，大规模数据（约200GB）的存储与高效访问，以及为八类语义类别设计均衡的评估权重，均是数据集构建中需克服的技术障碍。

常用场景

经典使用场景

在无人机视觉与多模态学习领域，Dronescapes数据集以其丰富的多任务标注成为经典基准。该数据集汇集了来自真实飞行场景的航拍视频，同步提供深度估计、语义分割、法线估计及光流等多种模态标签。研究者常利用其进行自监督或半监督学习框架的验证，特别是在多任务联合建模中，通过统一架构同时处理多种视觉理解任务，以探索模态间的协同与互补关系。

实际应用

在实际工程层面，Dronescapes数据集直接服务于无人机自主导航与环境理解系统的开发。基于其多模态标注训练的模型，可应用于实时地形分析、障碍物检测、安全着陆区域识别以及航路规划等任务。这些能力对于农业监测、基础设施巡检、灾害响应等垂直领域具有重要价值，能够提升无人机在复杂场景中的操作安全性与决策智能性。

衍生相关工作

围绕该数据集已衍生出一系列经典研究工作，例如基于超图学习的多世界解释框架、掩码自编码器驱动的概率超图模型，以及轻量化实时分割网络。这些工作不仅在官方榜单上竞争性能指标，如PHG-MAE、Mask2Former等模型在语义分割与深度估计任务上取得领先，还推动了多任务学习、模型蒸馏及边缘计算等方向的算法演进与范式创新。