passage

PASSAGE是一个基于ALOS AW3D30 DSM（数字表面模型）生成的高程数据集，专门用于解决基于地形的路径寻找挑战。数据集包含不同分辨率（从64到4096）的样本，每个样本包含高程数据、标记位置、障碍物掩码等信息。数据集生成过程包括目标高程采样、瓦片选择、像素定位、裁剪提取、标记放置和高度归一化等步骤。障碍物是通过超椭圆形状程序化生成的，以提供丰富的障碍物几何形状。数据集结构包括张量、图像、路径和元数据等字段。

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称: PASSAGE (PAth Solving DataSet And GEnerator)
• 许可证: MIT License
• 任务类别: 图像分割, 其他
• 标签: 高程, 路径规划, dsm, alos, passage, 地形

数据来源与描述

• 基础数据源: JAXA ALOS AW3D30 DSM (数字表面模型)
• 数据性质: 用于生成基于高程的数据集的工具包，专注于解决基于地形的路径规划挑战，便于机器学习模型的可复现数据集创建和基准测试。
• 地理覆盖: 数据集利用全球分布的高程数据，确保涵盖山脉、山谷、平原和沿海地区等多种地形样本。数据以1°×1°的瓦片形式组织，每个瓦片为3600×3600像素，分辨率为30米。

数据集配置与结构

数据集提供多种分辨率的配置，每个配置包含校准、训练、验证和测试划分。

可用配置

• 64: 数据文件路径为 64/{split}/data-*.parquet
• 128: 数据文件路径为 128/{split}/data-*.parquet
• 256: 数据文件路径为 256/{split}/data-*.parquet
• 512: 数据文件路径为 512/{split}/data-*.parquet
• 1024: 数据文件路径为 1024/{split}/data-*.parquet
• 2048: 数据文件路径为 2048/{split}/data-*.parquet
• 4096: 数据文件路径为 4096/{split}/data-*.parquet

样本数据结构

每个样本包含以下字段：

字段	类型	描述
tensor	float32[H, W, 3]	3通道张量：高程、标记、障碍物
image	bytes	样本的PNG可视化图像
path_free	list[[i, j], ...]	无障碍物时的最优路径
path_obstacles	list[[i, j], ...]	有障碍物时的最优路径
metadata	dict	样本元数据（坐标、高程、统计信息）

张量通道说明

1. 通道 0 (高程): 归一化到 [0, 1] 区间内的高程值。
2. 通道 1 (标记): 背景为 -1，起点为 0，终点为 1。
3. 通道 2 (障碍物): 二进制掩码（0 = 自由区域，1 = 障碍物）。

数据生成过程

样本通过一个精心设计的随机过程生成，确保在高程、地理位置和地形类型上的多样性。

主要步骤

1. 目标高程采样: 从全局校准范围内均匀采样一个目标高程。
2. 瓦片选择: 从包含目标高程的瓦片集合中均匀随机选择一个瓦片。
3. 像素定位: 在选定瓦片内，找到最接近目标高程的像素。
4. 裁剪提取: 以目标像素为中心，随机定位并提取一个 R x R 的裁剪区域（R为分辨率）。
5. 标记放置: 设置两个标记：起点（目标像素）和终点（随机选择的另一个像素）。
6. 高程归一化: 使用全局校准统计信息将高程裁剪区域归一化到 [0, 1] 区间。

障碍物生成

障碍物使用超椭圆形状程序化生成，允许从圆形到矩形等多种几何形状。

• 形状控制: 通过指数参数 n 控制，n=2为椭圆，n<2为菱形/星形，n>2为圆角矩形。
• 参数采样: 每个障碍物的位置、大小、形状指数和旋转角度均从特定分布中随机采样。
• 覆盖率: 迭代添加障碍物，直到覆盖率接近一个随机采样的目标比率，同时确保障碍物不与起点或终点标记重叠。

校准统计信息

• 全局最低高程: -430.0 米
• 全局最高高程: 8767.0 米
• 分析的瓦片数量: 23993

使用方式

加载数据集

python from datasets import load_dataset dataset = load_dataset("geoffrey-g-delhomme/passage", "256") sample = dataset["train"][0]

分析工具

数据集包中包含多个Jupyter Notebook用于深入分析：

• dataset.ipynb: 全面的数据集探索、统计和可视化。
• costmodel.ipynb: 路径规划成本模型分析。
• display.ipynb: 样本可视化工具。
• metrics.ipynb: 路径质量指标。
• obstacles.ipynb: 障碍物生成分析。
• solve.ipynb: 路径规划求解器比较。

致谢

• JAXA: 提供ALOS AW3D30数字表面模型。
• 开源社区: 对路径规划算法和地理空间工具的贡献。

搜集汇总

数据集介绍

构建方式

在数字地形分析领域，PASSAGE数据集通过系统化的流程构建而成。其基础数据源自日本宇宙航空研究开发机构（JAXA）提供的ALOS AW3D30全球数字表面模型，覆盖了全球范围内多样化的地形特征。构建过程首先进行全局高程校准，确定统一的高程范围。随后，通过随机采样目标高程，并从包含该高程的全球瓦片中均匀选取特定区域。在选定区域内，以目标高程点为中心，随机截取不同分辨率（如64×64至4096×4096像素）的裁剪区域，并进行归一化处理。路径规划问题的起点与终点标记被随机安置于裁剪区域内，同时利用超椭圆方程程序化生成形状各异的障碍物，直至达到预设的障碍覆盖率，从而确保每个样本在几何与拓扑层面均具有丰富的多样性。

特点

PASSAGE数据集的核心特点在于其多层次的结构化设计与高度的可复现性。数据集提供了多种空间分辨率配置，适应从粗略到精细的不同计算需求。每个样本均以多通道张量形式封装，清晰分离了归一化高程、起止点标记以及二值化障碍物掩膜信息。此外，数据集不仅包含原始地形与障碍数据，还预先计算了无障碍与有障碍两种情境下的最优路径，为算法性能评估提供了直接基准。其障碍物生成采用超椭圆参数化方法，能够创造出从圆形、菱形到类矩形等一系列连续变化的几何形状，极大地增强了地形复杂性与路径规划挑战的真实性。这种设计使得该数据集成为评测机器学习模型在复杂地形中路径规划能力的理想基准。

使用方法

为便于研究与应用，PASSAGE数据集已托管于Hugging Face平台，支持通过`datasets`库直接加载。用户可根据任务需求选择特定分辨率配置进行加载，例如256像素版本。加载后的数据集遵循标准分割，包含训练集、验证集、校准集和测试集。每个样本均可通过键值访问其核心组件，包括三通道张量、PNG格式可视化图像、两条最优路径坐标以及包含地理坐标、高程统计等信息的元数据。研究人员可利用通道分离的张量进行模型输入，或使用预计算路径进行损失计算与性能验证。数据集配套提供的Jupyter笔记本进一步辅助用户进行深度数据分析、可视化及路径求解算法的比较研究。

背景与挑战

背景概述

PASSAGE数据集由Geoffrey G. Delhomme等人构建，旨在为基于地形的路径规划研究提供标准化基准。该数据集依托日本宇宙航空研究开发机构（JAXA）提供的ALOS AW3D30全球数字表面模型（DSM）高程数据，通过系统化采样与生成流程，创建了涵盖多种分辨率与地形复杂度的样本集合。其核心研究问题聚焦于复杂地形环境下的最优路径求解，为机器学习模型在无人驾驶、机器人导航及地理信息系统等领域的应用提供了关键数据支撑。该数据集的发布促进了路径规划算法的可复现性与性能评估，对相关领域的研究具有显著的推动作用。

当前挑战

PASSAGE数据集致力于解决复杂地形环境下的路径规划问题，其核心挑战在于如何在高程变化显著、障碍物分布随机的场景中，高效求解从起点到终点的最优或可行路径。这要求算法不仅需适应多样的地形起伏，还需规避动态生成的超椭圆障碍物，对模型的泛化与鲁棒性提出了较高要求。在数据构建过程中，挑战主要体现为全球高程数据的均衡采样与合成。为确保样本的多样性与代表性，需从全球分布的高程瓦片中随机选取目标高程点，并精确裁剪不同分辨率的区域，同时需生成几何形状多变的障碍物且避免与起终点重叠，这一过程涉及复杂的统计校准与空间计算，以维持数据质量与生成效率的平衡。

常用场景

经典使用场景

在地形分析与路径规划领域，PASSAGE数据集为机器学习模型提供了标准化的评估基准。该数据集通过整合ALOS AW3D30数字表面模型的高程数据，生成了包含多样化地形特征的样本，如山地、平原与河谷。其经典使用场景集中于训练和验证基于地形的路径规划算法，模型需在考虑高程变化与程序化生成障碍物的复杂环境中，计算出从起点到终点的最优路径。数据集的多分辨率配置支持从基础研究到大规模应用的模型开发与性能比较。

解决学术问题

PASSAGE数据集有效解决了地形路径规划中数据稀缺与泛化能力不足的学术挑战。传统研究常受限于小范围或合成地形数据，难以反映真实世界的复杂变化。该数据集通过全球分布的高程采样与程序化障碍生成，提供了大规模、多样化的训练样本，促进了模型在未知地形上的泛化性能研究。其意义在于建立了可复现的基准测试框架，推动了机器学习在空间推理与自主导航领域的理论进展，为跨学科研究提供了可靠的数据基础。

衍生相关工作

围绕PASSAGE数据集，已衍生出多项经典研究工作，主要集中在路径规划算法的创新与评估上。例如，研究者利用其多分辨率特性，开发了适应不同地形尺度的深度学习模型，如基于图神经网络或强化学习的路径求解器。这些工作不仅优化了路径成本与计算效率，还深入探讨了地形特征与障碍物几何对规划结果的影响。此外，部分研究将该数据集与视觉感知任务结合，推动了端到端导航系统的发展，形成了从数据生成到算法验证的完整研究生态。