bts-flights-weather

该数据集是一个高质量表格型数据集，结合了美国国内航班运营数据与机场实际观测天气数据，时间跨度为2019年1月至2025年7月。其核心动机是解决现有航班延误数据集中依赖的、被认定为不可靠的航空公司自我报告天气延误问题，转而提供基于美国国家海洋和大气管理局（NOAA）集成地面数据库（ISD）的客观实测天气条件。数据集包含四个主要Parquet文件：flights_weather（旗舰文件，约4280万条记录，按年份分区，关联航班信息和天气数据）、flights_weather_recent_24mo（入门文件，最近24个月数据，约1406万行）、airport_hourly_weather（NOAA ISD气象站每小时观测数据，约2230万站时）和airports_reference（映射文件，连接航班与天气数据的关键桥梁）。数据集专为航空运营分析、交通研究、气象影响评估以及机器学习建模（特别是航班延误预测）而设计，数据规模属于“1000万到1亿行”级别，源数据来自美国政府公开数据（公共领域），以CC BY 4.0许可发布。注意事项包括谨慎处理某些列和数据局限性。This dataset is a high-quality tabular dataset that combines U.S. domestic flight operations data with actual observed weather at airports, spanning from January 2019 to July 2025. Its core motivation is to address the unreliable airline self-reported weather delays in existing flight delay datasets, instead providing objective, measured weather conditions based on the National Oceanic and Atmospheric Administration (NOAA) Integrated Surface Database (ISD). The dataset includes four main Parquet files: flights_weather (the flagship file, with approximately 42.8 million records partitioned by year, linking flight information and weather data), flights_weather_recent_24mo (an entry-level file with data from the last 24 complete months, about 14.06 million rows), airport_hourly_weather (hourly observation data from NOAA ISD weather stations, about 22.3 million station-hours), and airports_reference (a mapping file that serves as a key bridge connecting flight and weather data). The dataset is designed for aviation operations analysis, transportation research, weather impact assessment, and machine learning modeling (particularly flight delay prediction), with a scale in the 10 million to 100 million rows range. The source data comes from U.S. government public data (public domain) and is released under the CC BY 4.0 license by Arimancy LLC. Important notes include cautious handling of certain columns and data limitations.

原始信息汇总

数据集概述：US Flights Joined to Observed Airport Weather (2019 to 2025)

数据集简介

该数据集将美国国内航班与出发和到达机场在正确UTC小时的实际观测天气进行关联，时间跨度为2019年1月至2025年7月。数据集以Parquet格式提供，包含泄漏安全的架构、航空飞行类别以及文档化的机场与气象站对照表。

数据集核心特点

• 与竞争产品的区别：大部分航班延误数据集依赖航空公司自行报告的天气延误列，但美国运输部监察长办公室在2024年10月审计发现该列数据不可靠。本数据集直接提供实际观测天气条件，而非依赖承运人自报数据。
• 关键统计数字：
  • 出发机场飞行类别越差，平均到达延误越长：目视飞行规则（VFR）平均延误4.26分钟（取消率1.9%），最低仪表飞行规则（LIFR）平均延误16.28分钟（取消率5.7%）。
  • 在IFR或LIFR条件下晚到30分钟以上的航班中，仅有17%报告了任何承运人天气延误。

数据集文件组成

数据集包含四个文件，均为Parquet格式（其中airports_reference也提供CSV格式）：

文件名	描述	规模
flights_weather	旗舰文件，每趟运行航班一行，按年份分区。wx_前缀表示信息截止时间前观测的天气（安全）；oracle_前缀表示航班自身事件当小时的天气（默认不安全，若用于预测需视为泄漏）	4280万行
flights_weather_recent_24mo	入门文件，最近24个完整月的数据，同一Parquet文件	约1.18GB，14062629行
airport_hourly_weather	每站每小时观测天气，基于干净UTC网格，来自NOAA ISD完整数据（含能见度、云底高和当前天气）	2230万站时
airports_reference	对照表，每个机场一行，包含匹配的ISD站、匹配方法和距离	详情页未提供具体行数

字段说明与使用注意事项

• reported_前缀：承运人报告的延误原因列，不可靠，在数据集中予以标注。
• oracle_前缀：事件当小时的天气数据，默认不安全，用于预测时必须视为泄漏。建议使用数据仓库中提供的select_safe_features()函数移除所有oracle_列。
• 覆盖范围仅限于报告承运人（占国内定期客运收入0.5%及以上的承运人，加上自愿报告者），区域性和小型承运人可能缺失。
• 仅包含美国国内航班，不含国际航班。
• 2020年因COVID-19疫情属于制度性断点，出行量骤降且延误模式反转，并非数据错误。
• 天气数据来自距离机场最近的NOAA ISD站（通常为机场自身的ASOS），每个机场的匹配站、匹配方法和距离均在airports_reference中提供。
• ISD观测为站点时刻报告，非每小时平均值；重采样规则见数据字典。
• 机场无观测的时段标记为obs_missing并保留空值，不进行插补。
• 数据窗口截止于2025年7月，因为NOAA ISD于2025年8月27日停止接收全球逐时数据，该数据集为固定历史面板而非月度刷新数据源。

来源与许可证

• 数据来源：美国运输部统计局航班准点率数据（美国政府工作，公共领域）；NOAA NCEI综合地面数据库（美国政府工作，公共领域）；机场坐标和ICAO代码来自OurAirports（公共领域）。
• 发布方：Arimancy LLC
• 许可证：CC BY 4.0
• 数据集页面：https://arimancy.com/datasets/observed-weather-us-flights

搜集汇总

数据集介绍

构建方式

该数据集通过融合美国交通部统计局（BTS）的航班准点性能数据与国家海洋暨大气管理局国家环境信息中心（NOAA NCEI）的综合地表数据库构建而成。核心挑战在于建立机场与气象观测站之间的映射关系，因为缺乏现成的维护清单，且NOAA的网络工具每次最多仅能获取十个站年的数据。为此，数据集开发了一份公开的机场-观测站交叉参考表（airports_reference），涵盖匹配方法、距离等信息，突破了这一瓶颈。最终，每个运营中的美国国内航班均按照正确的世界协调时（UTC）小时，与出发地和目的地机场的实际观测天气数据进行了连接，形成了一份从2019年1月至2025年7月的固定历史面板数据，以Parquet格式存储。

特点

此数据集最显著的特点在于它摒弃了航空公司自行报告的、经审计发现不可靠的天气延误字段，转而提供实际观测到的天气条件，确保了信息源的客观性与可信度。数据集中包含四个核心组件：旗舰文件flights_weather拥有4280万行，按年份分区，并巧妙设计了‘wx_’前缀的安全特征与‘oracle_’前缀的潜在泄漏特征，供不同预测任务审慎选用。此外，starter文件flights_weather_recent_24mo降低了试用门槛，而airport_hourly_weather则提供了经清洁处理、基于UTC整数小时的逐小时天气观测网格。从数据验证角度看，随着出发地气象条件从VFR恶化至LIFR，平均到达延误时间从4.26分钟显著攀升至16.28分钟，充分印证了天气与延误之间的强相关性。

使用方法

用户可通过Hugging Face数据集加载库便捷地使用此数据集，根据需求选择不同的配置（config）。对于预测性任务，强烈推荐调用随数据集代码库提供的`select_safe_features()`函数，该函数会自动剔除所有带有‘oracle_’前缀的列，从而避免特征泄漏。初学者可从flights_weather_recent_24mo配置入手，该文件为单一Parquet文件，体积适中（约1.18 GB），便于快速探索。完整研究则建议加载flights_weather配置，利用其按年份分区的特性进行高效查询与分析。数据集还附带了基线示例笔记本，展示了如何直接将面板数据应用于模型训练，且结果已发布在准点率基线范围内。使用时需注意，2020年的数据反映了COVID-19疫情期间的航班量崩跌模式，并非数据错误。

背景与挑战

背景概述

该数据集由Arimancy LLC于2024年后发布，核心聚焦于将2019年至2025年间美国国内航班的准点性能与机场实际观测天气进行精确关联。研究背景植根于航空运输领域对航班延误成因的深度剖析，尤其是对航空公司自行报告的‘天气延误’列数据可靠性的质疑。美国交通部监察长办公室在2024年10月的审计中发现，运输统计局（BTS）缺乏验证承运人报告完整性的机制，且延误原因分类指引模糊，导致承运人报告不一致，与联邦航空局的数据存在高分歧。这一发现直接催生了本数据集的创建，旨在以客观天气观测取代主观报告，为航空延误研究提供坚实的数据基底。数据集整合了美国交通部BTS的航班准点性能数据与NOAA NCEI的综合地表数据库，并通过构建机场与气象站间的交叉引用表，突破了以往研究者因NOAA工具限制（每次仅能请求十站年数据）而无法大规模关联的瓶颈，为航空气象与交通领域提供了独特且高价值的研究资源。

当前挑战

本数据集所解决的领域核心挑战在于：传统航班延误数据集依赖航空公司自我报告的主观‘天气延误’列，该列被政府审计指出存在报告不一致、缺乏验证等严重可靠性问题，难以真实反映天气对航班运营的影响。构建过程中面临的关键挑战包括：首先，缺乏一个持续维护的机场与气象站对应的标准交叉引用表，手动构建需克服NOAA数据接口单次请求量小（仅十站年）的瓶颈，且多数研究者在此环节放弃；其次，需设计无泄漏的数据模式，区分‘可用信息截止前’的观测天气与‘事件发生时刻’的天气，防止后者在预测任务中作为无效特征（即‘oracle泄露’）；最后，需处理气象观测站报告为瞬时值而非每小时平均值的特性，正确推导降水量等衍生变量，并标记缺失观测值以保持数据透明性，避免不合理的插值引入偏差。

常用场景

经典使用场景

bts-flights-weather数据集构建了2019年至2025年间美国国内航班与其起降机场实际观测天气的精准关联，每一条航班记录均融合了出发地与目的地机场在相应UTC时刻的真实气象观测数据（包括能见度、云底高度、降水等），并提供了清晰的泄露安全特征划分（wx_与oracle_前缀）。该数据集最经典的使用场景是航班延误预测模型的构建与评估，通过将真实的观测天气条件而非航空公司自行报告的延误原因作为关键特征，研究者可以更为可靠地量化气象要素对航班准点率的影响。

解决学术问题

该数据集直接回应了美国交通部监察长在2024年审计中揭示的核心问题：航空公司自行报告的天气延误数据因缺乏验证机制和指引模糊而严重不可靠。bts-flights-weather通过提供经过严格校准的观测天气替代方案，解决了航班延误归因研究中气象因素度量的可信度危机。其学术意义在于为运输经济学、航空运营管理和气象灾害影响评估等领域的实证研究提供了标准化、可复现的气候-交通耦合数据底座，使得学者能够以更高置信度剖析天气干扰对航空物流系统的真实冲击阈值与传导机制。

衍生相关工作

围绕bts-flights-weather数据集已衍生出若干关键工具与基线工作。数据发布方提供了select_safe_features()函数用于自动化剔除oracle_泄露特征，并发布了完整的预出发延误预测基线笔记本作为复现基准。后续工作包括基于该面板的极端天气事件下航班连锁延误传播规律的量化分析、机器学习模型对LIFR/IFR条件下延误敏感度的对比研究，以及机场-气象站匹配方法的改进。此外，该数据集独特的泄露安全架构已被社区采纳为同类航空-气象数据产品的设计范例，催生了更多聚焦于数据可信度与可复现性的运输领域数据集标准。