遇见数据集

AeroWF

收藏
Hugging Face2026-08-20 更新2026-08-21 收录
官方服务:

资源简介:

AeroWF 是一个多机场航空气象数据集,专为自监督表示学习和下游评估而设计。数据集包含对齐的跑道观测数据、外生气象变量、天气标签、时间戳、归一化统计量以及机场图结构,所有数据以 NumPy 字典格式存储。数据集分为两个子集:Aero-Pre2020(预训练子集)包含来自北京首都国际机场(ZBAA)、上海浦东国际机场(ZSPD)和上海虹桥国际机场(ZSSS)的 139,878 个样本,采集于2020年,用于自监督预训练;Aero-Task(下游子集)包含来自 ZBAA、北京大兴国际机场(ZBAD)、ZSPD 和 ZSSS 的 108,404 个样本,用于下游评估,测量模型对超出预训练分布的各种运行场景的适应能力。每个机场的 .npy 文件存储一个序列化的 Python 字典,包含以下关键字段:跑道级气象时间序列(形状为 (N, R, T, 11),其中 N 为样本数,R 为跑道数,T 为窗口长度,11 为特征数,包括云底高、风分量、气压、温度、湿度、露点温度以及循环时间特征等)、外生分类变量(天气代码、天空状况、是否有阵风、是否 CAVOK)、外生连续变量(能见度、云高、阵风速度,已标准化)、全局天气标签、时间戳、图结构(包含边索引、边类型、节点数等)等。数据还包含归一化参数(仅基于训练集计算)、类别权重等元数据。AeroWF 适用于机场气象表示学习、时间序列预测、缺失值插补、天气分类、异常检测以及跨机场迁移学习等研究工作,是研究基准数据集,不替代认证的航空运行系统。

AeroWF is a multi-airport aviation weather dataset designed for self-supervised representation learning and downstream evaluation. The dataset includes aligned runway observations, exogenous meteorological variables, weather labels, timestamps, normalization statistics, and airport graph structures, all stored in NumPy dictionary format. The dataset is divided into two subsets: Aero-Pre2020 (pre-training subset) contains 139,878 samples from Beijing Capital International Airport (ZBAA), Shanghai Pudong International Airport (ZSPD), and Shanghai Hongqiao International Airport (ZSSS), collected in 2020, for self-supervised pre-training; Aero-Task (downstream subset) contains 108,404 samples from ZBAA, Beijing Daxing International Airport (ZBAD), ZSPD, and ZSSS for downstream evaluation, measuring the models adaptability to various operational scenarios beyond the pre-training distribution. Each airports .npy file stores a serialized Python dictionary with key fields: runway-level meteorological time series (shape (N, R, T, 11), where N is number of samples, R is number of runways, T is window length, 11 is number of features including cloud base height, wind components, pressure, temperature, humidity, dew point temperature, and cyclic time features), exogenous categorical variables (weather code, sky condition, gust presence, CAVOK status), exogenous continuous variables (visibility, cloud height, gust speed, standardized), global weather labels, timestamps, graph structure (including edge indices, edge types, node counts, etc.), and metadata such as normalization parameters (computed only on training set) and class weights. AeroWF is suitable for airport meteorological representation learning, time series forecasting, missing value imputation, weather classification, anomaly detection, and cross-airport transfer learning. It serves as a research benchmark dataset and is not a substitute for certified aviation operational systems.

创建时间:
2026-08-06
原始信息汇总

AeroWF 数据集概述

基本信息

  • 任务类型:时间序列预测(time-series-forecasting)
  • 领域标签:航空、气象、多元时间序列、自监督学习、机场天气
  • 样本规模:100K < N < 1M
  • 语言:英语

数据集构成

AeroWF 是一个多机场机场气象数据集,包含两个子集:

Aero-Pre2020(预训练子集)

  • 样本数:139,878 条
  • 机场:ZBAA、ZSPD、ZSSS(2020年数据)
  • 用途:自监督预训练
  • 目录processed_2020/
  • 特点:有意排除 ZBAD,用于评估模型对未见机场的迁移能力

Aero-Task(下游任务子集)

  • 样本数:108,404 条
  • 机场:ZBAA、ZBAD、ZSPD、ZSSS
  • 用途:下游训练与评估
  • 目录processed/

数据格式与内容

每个机场的 .npy 文件存储一个序列化的 Python 字典,包含:

数据项 形状/类型 描述
{split}_runway (N, R, T, 11) float32 跑道级气象时间序列
{split}_exo_categorical dict 分类外生变量
{split}_exo_continuous (N, 3) float32 标准化连续外生变量
{split}_weather_label (N,) int64 全局天气类别标签
{split}_timestamps (N,) datetime64 滑窗起始时间戳
num_weather_classes int 全局天气类别数(21)
num_sky_classes int 天空状况类别数(8)
exo_scaler dict 连续外生变量标准化参数
graph_structure dict 机场/跑道图结构
window_size int 窗口长度(96 分钟)

跑道特征(11个)

依次为:云底高度、风向量X分量、风向量Y分量、气压、温度、湿度、露点温度、小时正弦、小时余弦、月份正弦、月份余弦。

外生变量

  • 分类:天气代码ID、天空状况、阵风标志(has_gust)、CAVOK标志
  • 连续:能见度(英里)、云高(英尺)、阵风速度(当前版本为零值)

图结构

包含有向边索引、边类型(跑道-机场聚合、机场-跑道广播、自环、跑道间邻居)及节点数量。

标准化方法

  • 连续外生变量使用训练集统计参数进行 Z-score 标准化,部分文件对云高使用 log1p 变换
  • 跑道数组在运行时进行 Min-Max 缩放
  • 类别ID、二值标志、时间戳等不应进行标准化

适用场景

适用于机场气象表示学习、时间序列预测、缺失值插补、天气分类、异常检测及跨机场适应研究。该数据集为研究基准,不可替代经过认证的业务气象或航空系统。

搜集汇总
数据集介绍
AeroWF 数据集图片
构建方式
AeroWF数据集是针对航空站气象表示学习精心构建的多机场基准数据集,其构建过程严谨而系统。数据源自跑道自动气象观测系统(AWOS)的原始观测与METAR报文的深度加工,经由一系列预处理脚本,如`preprocess_runway_generic.py`和`preprocess_metar_multi.py`,将原始数据转化为一分钟频率的清洁时间序列,进而通过`generate_train_data.py`生成模型就绪的NumPy文件。该过程涵盖了滑动窗口切分、时序一致的训练/验证/测试划分、连续外生变量的标准化以及机场图结构的构建,同时保留了循环时间特征和物理量原始单位,确保了数据的科学性与可复现性。
特点
该数据集独具匠心,分为预训练子集Aero-Pre2020与下游任务子集Aero-Task,前者汇集2020年三个机场的139,878个样本,专用于自监督预训练,并刻意排除ZBAD机场以评估向未见机场的迁移能力;后者则涵盖四个机场的108,404个样本,适配多变的运行场景。数据模式丰富,包含跑道级11维气象时间序列、外生类别变量(如天气代码、天空状况)与连续变量,并配备详细的元数据,如归一化统计量、图结构和类别权重,为多变量时序预测、缺失值填补及跨机场适应等研究提供了坚实支撑。
使用方法
使用AeroWF数据集便捷直观,研究者可通过NumPy的`np.load`函数加载预处理的`.npy`文件,其内部结构为字典形式,囊括训练、验证、测试的分裂数据及关键的元数据。数据加载时需注意`allow_pickle=True`的安全设置,并遵循提供的`MultiAirportDataset`加载器进行运行时Min-Max归一化,其中外生连续变量依据训练集的统计参数进行Z-score标准化,而跑道变量则保持原始物理值。该数据集明确宣示其研究用途,不替代官方运行系统,并提供了详尽的预处理代码与复现指引,助力领域内学者深入探索航空气象表示学习的前沿课题。
背景与挑战
背景概述
AeroWF数据集由航空与气象交叉领域的研究团队于近年构建,旨在为机场气象表示学习与下游预测任务提供标准化基准。该数据集整合了中国四个主要机场(ZBAA、ZBAD、ZSPD、ZSSS)的跑道级观测与METAR报文,覆盖2020年及更广泛时间范围,包含多变量时间序列、外生气象变量、天气标签及机场图结构,总计逾24万样本。其核心研究问题在于推动自监督表示学习在航空气象领域的应用,支持跨机场泛化能力评估,并服务于时间序列预测、缺失值插补、天气分类及异常检测等任务。AeroWF的发布填补了该领域公开数据集的空白,为多机场气象建模提供了标准化测试平台,对航空气象智能决策系统的研究具有重要推动作用。
当前挑战
AeroWF所应对的领域挑战主要源于航空气象数据的高维性、多源异构性及时空依赖性。机场跑道级观测与全局气象条件之间存在复杂非线性关联,且不同机场间气候特征差异显著,传统模型难以有效捕捉跨机场共享的气象模式。此外,构建过程中面临多重技术难题:原始AWOS数据与METAR报文格式不一,需精细的时间对齐与缺失值处理;天气类别需跨机场统一映射,以确保标签一致性;滑窗采样需平衡时间分辨率与数据量,同时避免数据泄漏。更为关键的是,预训练与下游任务的数据分布差异要求模型具备强大的自适应能力,且原始数据不公开,仅提供处理后的NumPy文件,限制了数据来源的透明度,对复现性与可信度构成挑战。
常用场景
经典使用场景
AeroWF数据集作为航空气象领域的高质量多机场时序基准,其经典应用场景聚焦于自监督表示学习与下游任务评估。研究者的常规做法是利用Aero-Pre2020子集在大型未标注跑道观测数据上执行掩码重建或对比学习等预训练策略,进而将学习到的表示迁移至Aero-Task子集的多种下游任务,涵盖机场跑道气象要素的时序预测、缺失值插补、天气状况分类以及异常检测等。该基准尤其支持跨机场的适应能力探究,通过刻意排除的ZBAD机场来评估模型对未见机场的泛化性能,从而为航空气象深度学习研究提供了标准化的训练与评测范式。
实际应用
在实际应用中,AeroWF为航空运行决策支持系统的智能化升级提供了关键数据底座。基于其预训练模型,可开发用于机场跑道能见度、侧风分量等关键气象要素的临近预报工具,辅助空中交通管理中的起降排序与流量调配;其分类能力能实时识别雷暴、低云、风切变等危险天气,增强航空气象警报的精准度。此外,该数据集支持对机场历史气象记录的缺失值修复和异常检测,有助于保障气象数据链的完整性与可靠性,为飞行安全评估、航班延误分析及机场运维优化等实际业务场景提供数据驱动的科学依据,展现出从研究到落地的显著应用价值。
衍生相关工作
AeroWF的发布催生了一系列衍生研究工作,成为航空时序学习领域的新标杆。后续工作可围绕其多机场图结构展开,设计时空图神经网络以实现跑道间气象传播的显式建模,从而提升预测的物理一致性。利用其自监督预训练子集,研究者开发了针对航空气象的专用掩码自动编码器或对比学习框架,并在下游任务上系统验证了表征的可迁移性。此外,该数据集还激发了关于机场间域适应算法、气象标签分布偏移处理以及多变量缺失值生成模型等方向的研究,推动了航空AI社区在鲁棒时序推理和跨域泛化方面的理论进展,形成了一个围绕AeroWF持续发展的活跃研究生态。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务