Arrival Atlas BTS Flight Reliability Aggregates

Arrival Atlas BTS 航班可靠性聚合数据，是基于美国运输统计局官方数据生成的紧凑、即用型聚合数据集，支持按国内航线、航空公司、日历月份、时段和计划出发时间带进行描述性比较。Arrival Atlas BTS Flight Reliability Aggregated Dataset is a compact, ready-to-use aggregated dataset generated from official data of the U.S. Bureau of Transportation Statistics, which supports descriptive comparisons across domestic air routes, airlines, calendar months, time periods, and scheduled departure time bands.

原始信息汇总

数据集概述

Arrival Atlas BTS Flight Reliability Aggregates 是一个基于美国交通统计局（BTS）官方「Reporting Carrier On-Time Performance」数据加工而成的紧凑型、应用就绪的航班准点率聚合数据集。该数据集独立处理，并非 BTS 官方产品，但保留来源署名以确保可追溯性和可复现性。

核心信息

• 许可协议： U.S. Public Domain（美国公共领域）
• 语言： 英语
• 数据规模： 100万至1000万行
• 覆盖范围： 2021年1月至2026年5月（最新完整月份为2026年5月）
• 生成时间： 2026-08-05T13:10:58+00:00（UTC）
• 数据来源： BTS Reporting Carrier On-Time Performance，官方下载接口为 BTS TranStats

数据规模明细

项目	数值
官方源分区数	65
去重前源行数	36,533,897
清洗后航班行数	36,533,897
移除的完全重复航班键	0
聚合行数	4,556,244
Parquet 文件数	2,667
聚合数据总字节数	131,185,396

数据表结构

所有大型表均按始发机场分区，分区路径记录在 manifest.json 中，用户可只下载选定始发机场的数据。主要表包括：

表名	粒度
route_airline_comparison	航线 × 承运人 × 日历月 × 出发时段
route_airline_period	航线 × 稳定承运人 × 年月 × 出发时段
route_period	航线 × 年月 × 出发时段（全部承运人）
route_month_band	航线 × 日历月 × 出发时段（跨覆盖期汇总）
airport_period	始发机场 × 年月 × 出发时段
airport_month_band	始发机场 × 日历月 × 出发时段（跨覆盖期汇总）
airport_routes	始发地 × 目的地 × 日历月 × 出发时段

每张表均包含基于航班记录精确计算的「All」出发时段行，而非通过平均或组合子组百分位数生成。

主要指标列

• 航班数量类：scheduled_flights（计划航班）、operated_flights（执飞航班）、observations（观测数）
• 异常航班类：cancelled_flights（取消航班）、diverted_flights（备降航班）、on_time_arrivals（准点到达）
• 延误航班类：arrivals_30_plus、arrivals_60_plus
• 延误时长分位数：median_arrival_delay（中位数）、p75_arrival_delay（第75百分位）、p90_arrival_delay（第90百分位）
• 六个互斥的到达延误直方图计数
• 承运人、天气、NAS、安检、前序航班晚到等正延误分钟数

比率以分子和分母计数的形式存储，便于用户审计和重新计算。到达延误观测仅包含非取消、非备降且报告了 ArrDelay 的航班。准点定义遵循 BTS 标准：ArrDelay < 15 分钟。

出发时段划分

时段	当地时间范围
过夜（Overnight）	00:00–05:59
上午（Morning）	06:00–11:59
下午（Afternoon）	12:00–17:59
晚间（Evening）	18:00–23:59

时间采用始发地当地计划时间。到达延误直接取自 BTS 数据，不使用跨午夜或时区的时钟减法计算。

处理流程

1. 发现最新的完整官方月度 ZIP 文件
2. 仅下载缺失或变更的文件，并记录 URL、ETag、修改日期、字节数、提取时间戳和 SHA-256
3. 验证所需源列，架构漂移时失败
4. 转换必要字段，保留 DOT 承运人和机场标识符，并在每月内对稳定航班键去重
5. 标记不可能的航行时长，核对源、重复和清洗后的行数
6. 使用 DuckDB 计算精确队列计数、连续分位数、直方图和原因总和
7. 在单次版本化提交中发布 Zstandard 压缩的 Parquet 始发分区

排名规则

Arrival Atlas 仅当航空公司至少有 100 次观测到达时才分配组内排名，样本量较小时数据仍可用但不参与排名。

查询示例

数据集支持使用 DuckDB 直接查询 Parquet 文件，例如从 v2026-05/route_airline_comparison/origin=JFK/*.parquet 中按目的地、月份和出发时段筛选，计算准点率、取消率和 P90 延误。

已知限制

• 历史描述性表现不能预测未来航班
• 报告承运人记录可能与旅客看到的营销航空公司不同
• 航空公司名称和所有权会变化，保留稳定的 DOT ID 和历史报告代码
• 延误原因分钟数仅在 BTS 支持并报告的范围内存在，缺失原因不会归入「其他」类别
• 当前年度覆盖范围截至最新完整的 BTS 月份，而非当前日期
• 数据源不包括国际航班、非定期航班或其他未报告的航班
• 机场分析跟踪从选定机场出发的航班并评估下游到达表现，并非机场服务水平衡量指标

可复现性

数据处理的完整管道源代码、测试、自动刷新工作流、指标定义及公开 Web 应用均可在 https://github.com/heybadrinath/arrival-atlas 获取。

搜集汇总

数据集介绍

构建方式

该数据集源于美国运输统计局（BTS）的官方航班准点性能数据，经过严格的清洗、去重与聚合流程构建而成。原始数据覆盖2021年1月至2026年5月，包含超过3600万条航班记录，通过DuckDB进行精确的队列统计与分位数计算，最终生成约450万条聚合记录，并以Zstandard压缩的Parquet格式按始发机场分区存储。每个分区均附有校验和与元数据清单，确保数据可追溯性与可复现性。

特点

数据集以紧凑且应用就绪的形态呈现，支持按航线、承运航空公司、日历月份、时间段和计划起飞时段进行描述性比较。其核心特色在于存储原始计数而非预计算比率，使用户能够自行审计与重算指标。同时，数据集严格遵循BTS的准点定义，仅统计非取消、非备降航班，并包含精确的‘所有’时段聚合行，避免了百分位数合并误差。此外，还提供了多维度延迟直方图与延误原因分钟数，为深度分析提供丰富素材。

使用方法

用户可通过清单文件轻松选取指定始发机场的分区数据进行下载，并使用DuckDB或Apache Spark等工具直接查询Parquet文件。数据集中所有表均按始发机场分区，且附带明确的列说明与示例SQL查询，便于快速上手。典型应用包括：计算特定航线在特定时段的准点率、取消率及延误分位数，或比较不同承运航空公司的性能表现。数据集的公共网络应用与完整流水线源代码均可在GitHub仓库中获取，支持用户复现全过程并验证数据可靠性。

背景与挑战

背景概述

Arrival Atlas BTS Flight Reliability Aggregates 数据集诞生于美国航空运输数据深度分析的需求之中，其根源可追溯至美国交通统计局（BTS）自2021年起发布的准点率报告。该数据集由独立研究者于2026年基于BTS的官方数据加工而成，旨在解决原始数据庞大、结构复杂而难以直接用于分析的问题。它聚焦于国内航班在航线、航空公司、月份及计划起飞时段等多维度下的可靠性比较，为航空业研究者、数据分析师及政策制定者提供了一份紧凑、即用型的数据资源。通过提供细粒度的航班准点统计、延误分布及原因分解，该数据集极大地促进了航空运营效率的量化评估，其影响力体现在为航班准点率的横向对比和纵向趋势分析提供了标准化、可复现的数据基础，成为连接原始官方记录与应用级洞察的关键桥梁。

当前挑战

该数据集在构建与使用过程中面临多重挑战。在领域层面，其核心难题在于将BTS提供的海量、多源原始航班记录（逾3600万条）转化为清晰、一致的分析粒度，需处理航班取消、备降、延误时长的复杂定义差异，并确保按航线、航空公司、时间等多维聚合的统计准确性，尤其在跨午夜或跨时区的航班处理上，需避免时钟减法带来的逻辑谬误。构建过程中，挑战体现在数据管道的鲁棒性上：需严格校验官方数据模式的一致性（schema drift），对每月更新的ZIP文件进行增量下载与完整性校验（SHA-256），并在去重后保留可追溯的审计线索。同时，为平衡数据详实性与可用性，设计上采用按出发机场分区存储，并通过提供精确的计数而非近似比率来支持下游的灵活计算，这一系列工程决策要求对数据质量、计算效率与用户便利性进行精妙权衡，其复杂度远超简单的数据复制与清洗。

常用场景

经典使用场景

该数据集是围绕美国交通统计局官方航班正点率数据构建的紧凑型聚合分析产物，其核心使用场景聚焦于国内航线、承运航空公司、日历月份、季度周期及计划离港时段等多个维度的深度融合比较。通过精确的航班记录分组与量化指标提炼，研究者能够基于路线与航空公司的交叉视角，系统性地评估不同时段与季节下的准点绩效差异，从而揭示出航班运营效率的时空分布规律。聚合表结构设计精巧，支持按始发机场分区独立下载，极大提升了大规模数据分析的灵活性与可操作性。

实际应用

在实际应用层面，该数据集为航空业界的运营决策与公众信息服务提供了高价值的参考基准。航空公司可以利用其分析自身在各航线上的准点表现，识别运营短板，优化航班时刻编排与资源配置；机场管理者则能依托机场起降维度的绩效指标，评估空侧运行效率并制定针对性改进措施。对于航空数据分析平台与出行服务商而言，该数据集所包含的航线、航班及延误趋势信息，更是支撑航班选择、延误预警及旅客行程规划等智能应用的必要数据资产，推动了民航服务品质的精细化提升。

衍生相关工作

基于该数据集的精细粒度与高度结构化特性，衍生出一系列颇具影响力的应用与研究工作。其公开的Pipeline与自动化刷新流程，为构建可复现的航空数据基准提供了范例，激励了更多开放数据项目的规范化建设。围绕其聚合表结构，可自然延伸出航班准点率多维度可视化分析平台、基于历史统计的航班延误概率预测模型，以及面向特定月份或时刻段的航线绩效排名工具。此外，将航班延误原因分解数据与其他气象或空域数据集融合，亦为探究航班运行干扰的深层次影响机制开辟了新的研究路径。