SKYSCENES

SKYSCENES是一个包含33,600张合成航空图像的数据集，由佐治亚理工学院的研究团队创建。该数据集通过CARLA模拟器生成，涵盖了多种条件，包括不同的布局（城市和农村）、天气、白天时间、俯仰和高度。每张图像都配有密集的语义、实例分割和深度注释，旨在用于训练和评估能够适应真实世界多样场景的模型。SKYSCENES不仅作为一个合成源数据集用于训练真实世界可泛化的模型，还可以增强真实数据，以提高真实世界的表现。

SKYSCENES is a dataset consisting of 33,600 synthetic aerial images, created by a research team from the Georgia Institute of Technology. This dataset is generated using the CARLA simulator, covering diverse conditions including different layouts (urban and rural), weather conditions, times of day, pitch angles and altitudes. Each image is paired with dense semantic, instance segmentation and depth annotations, and is designed for training and evaluating models that can adapt to diverse real-world scenarios. Beyond serving as a synthetic source dataset for training real-world generalizable models, SKYSCENES can also augment real-world data to improve real-world performance.

原始信息汇总

SkyScenes 数据集概述

数据集基本信息

• 许可证：MIT
• 语言：英语
• 任务类别：
  • 目标检测
  • 深度估计
  • 图像分割
• 标签：
  • 数据集
  • 航空
  • 合成
  • 领域适应
  • 模拟到现实

数据集简介

SkyScenes 是一个合成数据集，包含从无人机视角捕获的密集标注的航空图像。该数据集通过 CARLA 模拟器生成，涵盖了多种布局（城市和乡村地图）、天气条件、时间、俯仰角和高度变化，并提供了相应的语义、实例和深度标注。

数据集规模

• 总图像数：33,600
• 布局变化：8 个城镇
• 天气与白天变化：5 种条件
• 高度和俯仰变化：12 种组合

详细变化列表

• 布局变化：
  • Town01 至 Town10HD
• 天气与白天变化：
  • ClearNoon
  • ClearSunset
  • ClearNight
  • CloudyNoon
  • MidRainyNoon
• 高度和俯仰变化：
  • 高度 = 15m, 35m, 60m
  • 俯仰角 = 0°, 45°, 60°, 90°

语义分割标签

SkyScenes 的语义分割标签涵盖 28 个类别，可进一步合并为 20 个类别。每个类别包括 ID、RGB 颜色和定义。

数据集结构

数据集按以下结构组织：

├── Images (RGB Images) │ ├── H_15_P_0 │ │ ├── ClearNoon │ │ │ ├── Town01 │ │ │ │ └── Town01.tar.gz │ │ │ ├── Town02 │ │ │ │ └── Town02.tar.gz │ │ │ ├── ... │ │ │ └── Town10HD │ │ │ └── Town10HD.tar.gz │ │ ├── ... │ ├── ... │ └── H_60_P_90 │ └── ... ├── Instance (Instance Segmentation Annotations) │ ├── H_35_P_45 │ │ └── ClearNoon │ │ ├── Town01 │ │ │ └── Town01.tar.gz │ │ ├── Town02 │ │ │ └── Town02.tar.gz │ │ ├── ... │ │ └── Town10HD │ │ └── Town10HD.tar.gz │ └── ... ├── Segment (Semantic Segmentation Annotations) │ ├── H_15_P_0 │ │ ├── ClearNoon │ │ │ ├── Town01 │ │ │ │ └── Town01.tar.gz │ │ │ ├── Town02 │ │ │ │ └── Town02.tar.gz │ │ │ ├── ... │ │ │ └── Town10HD │ │ │ └── Town10HD.tar.gz │ │ ├── ... │ │ └── H_60_P_90 │ │ └── ... │ └── ... └── Depth (Depth Annotations) ├── H_35_P_45 │ └── ClearNoon │ ├── Town01 │ │ └── Town01.tar.gz │ ├── Town02 │ │ └── Town02.tar.gz │ ├── ... │ └── Town10HD │ └── Town10HD.tar.gz └── ...

数据集下载

数据集可通过 Hugging Face 的 datasets 库和 wget 下载。支持不同子集的下载，以帮助模型在不同轴上的敏感性分析。

下载示例：wget

bash #!/bin/bash HP=(H_15_P_0 H_15_P_45 H_15_P_60 H_15_P_90 H_35_P_0 H_35_P_45 H_35_P_60 H_35_P_90 H_60_P_0 H_60_P_45 H_60_P_60 H_60_P_90) weather=(ClearNoon ClearNight ClearSunset CloudyNoon MidRainyNoon) layout=(Town01 Town02 Town03 Town04 Town05 Town06 Town07 Town10HD) base_url=(https://huggingface.co/datasets/hoffman-lab/SkyScenes/resolve/main/Images) base_download_folder=SkyScenes

for hp in "${HP[@]}"; do for w in "${weather[@]}"; do for t in "${layout[@]}"; do folder=$(echo "$base_url" | awk -F / {print $(NF)}) download_url="${base_url}/${hp}/${w}/${t}/${t}.tar.gz" download_folder="${base_download_folder}/${folder}/${hp}/${w}/${t}" mkdir -p "$download_folder" echo "Downloading: $download_url" wget -P "$download_folder" "$download_url" done done done

下载示例：datasets 库

python from datasets import load_dataset dataset = load_dataset(hoffman-lab/SkyScenes, name="H_35_P_45 images")

注意事项

• 深度和实例分割地图仅适用于 H_35_P_45，其他变化将很快提供。
• 为避免加载数据集时出现问题，建议避免下载包含重叠目录的子集。如果存在重叠目录，请在下载新子集之前清除 .cache 目录中的重叠部分。

搜集汇总

数据集介绍

构建方式

SKYSCENES数据集的构建采用了CARLA模拟器，该模拟器是一个开放源代码的自动驾驶汽车模拟器，能够提供多种传感器、环境配置和渲染配置。通过在CARLA中重新定位模拟器中的智能体相机，以获取不同的高度和俯仰角度，从而捕捉到具有丰富多样性的合成空视图场景。数据集的构建过程中，充分考虑了场景布局、天气条件、昼夜时间、俯仰角度和高度等因素的多样性，并确保了生成的数据具有物理上的真实性。此外，为了解决现实世界中尾类（如人类）的代表性不足问题，还特别设计了HumanSpawn算法来增加人类实例的生成。

特点

SKYSCENES数据集的特点在于其丰富的多样性和精细的注释。数据集包含了33.6K张从无人机视角拍摄的合成空视图场景，涵盖了不同的布局（城市和乡村）、天气条件、昼夜时间、俯仰角度和高度，并提供了语义、实例分割（28个类别）和深度注释。此外，数据集还包含与每个视角相关的元数据，可以轻松地复制在不同条件下相同的视角。SKYSCENES数据集不仅可以帮助训练适用于现实世界的通用模型，还可以作为诊断工具来评估模型对不同条件变化的敏感性。

使用方法

SKYSCENES数据集的使用方法包括训练模型、评估模型敏感性和开发多模态分割模型。首先，可以使用SKYSCENES数据集训练语义分割模型，并通过在多个现实世界数据集上的评估来验证模型的泛化能力。其次，可以结合SKYSCENES数据集和真实世界数据集来训练模型，特别是在低数据量情况下，可以有效地提高模型的识别性能。此外，SKYSCENES数据集还可以作为诊断工具，通过改变数据集中的特定条件（如天气、昼夜时间、俯仰角度和高度）来评估模型对这些变化的敏感性。最后，可以利用SKYSCENES数据集中的深度注释来开发多模态分割模型，以提高空中场景的理解能力。

背景与挑战

背景概述

在现实世界中，由于获取和标注图像的成本高昂，难以收集大量包含密集标注的图像数据集，这限制了现实场景理解的研究进展。为了解决这个问题，Khose等人于2023年12月提出了SKYSCENES数据集。该数据集由来自佐治亚理工学院的研究团队创建，旨在为无人机视角下的现实场景理解提供合成数据集。SKYSCENES数据集包含了从无人机视角捕获的33.6K张空中图像，这些图像涵盖了不同的天气和白天条件、不同的飞行高度、不同的视角俯仰角度、不同的地图布局（城市和乡村），并带有密集的像素级语义和深度标注。SKYSCENES不仅作为合成源数据集用于训练泛化能力强的现实世界模型，还可以增强现实数据以提升现实世界性能。

当前挑战

SKYSCENES数据集在解决现实场景理解领域问题方面面临一些挑战。首先，该数据集所解决的领域问题是缺乏包含密集标注的图像数据集，这限制了现实场景理解的研究进展。其次，在构建数据集过程中，研究团队需要确保数据集的多样性和标注的准确性。此外，SKYSCENES数据集还需要考虑如何将合成数据与真实数据进行有效的整合，以提升模型在现实世界中的性能。

常用场景

经典使用场景

SKYSCENES 数据集被广泛用于训练和评估用于无人机视角下的空中场景理解模型。它包含了从不同高度、视角、天气和白天条件下捕获的33.6K张高分辨率合成图像，并附带密集的像素级语义和深度注释。这些特性使得 SKYSCENES 成为研究模型如何在不同条件下响应和泛化的理想平台。

实际应用

SKYSCENES 数据集在实际应用中具有广泛的应用前景，例如无人机监控、地图制作和灾害响应。它可以帮助开发更精确的无人机导航系统，提高城市和农村地区的地图精度，并支持在恶劣天气条件下的无人机操作。此外，SKYSCENES 还可以用于训练能够识别和理解空中场景中各种对象的多模态分割模型，这对于无人机在复杂环境中的自主操作至关重要。

衍生相关工作

SKYSCENES 数据集的发布推动了多个相关研究领域的进展。例如，它启发了其他合成数据集的创建，这些数据集旨在捕捉真实世界场景的多样性和复杂性。此外，SKYSCENES 还促进了多模态分割和深度学习模型的研究，这些模型利用额外的传感器信息（如深度）来提高空中场景理解的准确性。SKYSCENES 的衍生工作还包括开发新的训练策略和评估技术，以提高模型在不同条件下的鲁棒性和泛化能力。