blanchon/ADVANCE

ADVANCE数据集是一个用于视听航空场景识别任务的综合资源。它包含5,075对地理标记的音频记录和高分辨率512x512 RGB图像，这些图像和音频分别来自FreeSound和Google Earth，并使用OpenStreetMap标记为13个场景类别。数据集的特征包括图像和音频文件，图像为三通道JPEG格式，音频为WAV格式。该数据集作为视听航空场景识别的研究和开发的基准，支持跨任务迁移学习和地理标记数据分析。

原始信息汇总

ADVANCE 数据集概述

基本信息

• 语言: 英语
• 许可: 未知
• 数据规模: 1K<n<10K
• 任务类别: 图像分类
• PapersWithCode ID: advance
• 别名: ADVANCE
• 标签:
  • 遥感
  • 地球观测
  • 地理空间
  • 卫星图像
  • 视听空中场景识别
  • Sentinel-2

数据集详情

• 特征:

  • 图像: 图像格式
  • 音频: 音频格式
  • 标签: 类别标签，包含13个类别
    • 0: 机场
    • 1: 海滩
    • 2: 桥梁
    • 3: 农田
    • 4: 森林
    • 5: 草地
    • 6: 港口
    • 7: 湖泊
    • 8: 果园
    • 9: 住宅区
    • 10: 稀疏灌木地
    • 11: 运动场地
    • 12: 火车站

• 分割:

  • 训练集: 包含5075个样本，数据大小为6698580359.05字节

• 下载大小: 6688165513字节

• 数据集大小: 6698580359.05字节

配置

• 默认配置:
  • 数据文件:
    • 训练集: 路径为data/train-*

数据集描述

• 数据集名称: 视听空中场景识别数据集 (ADVANCE)
• 数据来源: 从FreeSound和Google Earth提取的5075对地理标记音频记录和高分辨率512x512 RGB图像
• 标签: 使用OpenStreetMap标记为13个场景类别
• 总图像数: 5075
• 波段: 3 (RGB)
• 图像分辨率: 10mm
• 图像尺寸: 512x512
• 地物类别数: 13
• 类别: 机场, 海滩, 桥梁, 农田, 森林, 草地, 港口, 湖泊, 果园, 住宅区, 稀疏灌木地, 运动场地, 火车站
• 数据源: Sentinel-2
• 数据集特征: 5075对地理标记音频记录和图像，三通道RGB图像(512x512像素)，10秒音频记录
• 数据格式: 图像为三通道jpg格式，音频文件为wav格式

使用方法

• 加载数据集: 使用datasets.load_dataset("blanchon/ADVANCE")

引用

• 参考文献: bibtex @article{hu2020crosstask, title = {Cross-Task Transfer for Geotagged Audiovisual Aerial Scene Recognition}, author = {Di Hu and Xuhong Li and Lichao Mou and P. Jin and Dong Chen and L. Jing and Xiaoxiang Zhu and D. Dou}, journal = {European Conference on Computer Vision}, year = {2020}, doi = {10.1007/978-3-030-58586-0_5}, bibSource = {Semantic Scholar https://www.semanticscholar.org/paper/7fabb1ef96d2840834cfaf384408309bafc588d5} }

搜集汇总

数据集介绍

构建方式

在遥感与地球观测领域，ADVANCE数据集通过整合多源地理空间数据构建而成。其构建过程始于从FreeSound平台采集地理标记的音频记录，并同步从Google Earth提取对应地理位置的高分辨率512x512像素RGB图像。随后，借助OpenStreetMap的地理信息，将这些图像精确标注为机场、海滩、桥梁等13类典型场景，最终形成5,075对音频-图像配对样本，为跨模态研究提供了结构化基础。

使用方法

利用ADVANCE数据集进行学术探索时，研究人员可通过Hugging Face的datasets库便捷加载。调用load_dataset('blanchon/ADVANCE')函数即可获取完整数据，进而开展视听融合的场景分类模型训练。该数据集适用于跨任务迁移学习、地理标记数据分析及多模态感知算法验证，为遥感与计算机视觉交叉领域的研究提供了即用型实验平台。

背景与挑战

背景概述

ADVANCE数据集于2020年由Di Hu等研究人员在《欧洲计算机视觉会议》上首次提出，旨在推动视听融合的遥感场景识别研究。该数据集整合了来自FreeSound平台的音频记录与Google Earth的高分辨率卫星图像，构建了涵盖机场、海滩、桥梁等13类地物场景的5075个样本对。其核心研究问题聚焦于跨任务迁移学习，探索地理标记数据在视听模态间的互补性，为遥感与计算机视觉交叉领域提供了重要的基准资源，显著促进了地理空间智能分析技术的发展。

当前挑战

ADVANCE数据集致力于解决视听融合的遥感场景分类问题，其挑战在于如何有效关联异质模态数据以提升识别精度，尤其是在复杂自然场景中音频与视觉特征的非对齐性。构建过程中，研究人员面临地理标记数据的精确匹配难题，需确保音频采样点与卫星图像空间位置的一致性；同时，数据标注依赖OpenStreetMap的开放地图信息，可能引入类别噪声或边界模糊性，增加了数据集的质量控制复杂度。

常用场景

经典使用场景

在遥感与地球观测领域，ADVANCE数据集为多模态学习提供了关键支持。该数据集通过整合高分辨率RGB卫星图像与地理标记的音频记录，构建了涵盖机场、海滩、森林等13类场景的视听对，为研究者探索跨模态特征融合与场景识别任务奠定了坚实基础。其经典应用场景集中于开发先进的深度学习模型，以同步处理视觉与听觉信息，实现更精准的空中场景分类与理解。

解决学术问题

ADVANCE数据集有效应对了地理空间分析中单一模态信息的局限性。它通过提供成对的图像与音频数据，促进了跨任务迁移学习的研究，解决了传统遥感方法在复杂环境场景识别中特征表达不足的难题。该数据集的意义在于推动了多模态感知在遥感领域的应用，为地理标记数据的分析与模型泛化能力提升提供了实证基础，对计算机视觉与音频处理的交叉研究产生了深远影响。

实际应用

在实际应用中，ADVANCE数据集支持了环境监测与智能城市规划等关键领域。例如，通过结合卫星图像与现场音频，该系统能够自动识别农田、森林或居民区等场景，辅助生态保护与土地资源管理。此外，该数据集还可用于开发灾害响应工具，如利用视听数据快速评估洪水或火灾后的区域状况，提升应急决策的准确性与效率。

数据集最近研究

最新研究方向

在遥感与地球观测领域，ADVANCE数据集以其独特的视听融合特性，为多模态学习开辟了新的前沿。当前研究聚焦于跨任务迁移学习，探索如何将音频与高分辨率卫星图像的关联特征迁移至其他地理空间分析任务，如环境监测与灾害预警。热点事件如气候变化与城市智能化发展，进一步推动了该数据集在生态评估与智慧城市中的应用，其多模态架构为理解复杂地表场景提供了更丰富的语义线索，显著提升了模型在真实世界中的泛化能力与解释性。