pjm-demand-weather

PJM小时电力需求与人口加权天气数据集是一个专门为预测美国最大区域输电组织（PJM）电网负荷而设计的小时级时间序列数据集。它集成了PJM RTO级别的总电力需求（单位：兆瓦时）与经过人口加权的历史天气数据，进行了预连接处理，简化了负荷预测模型的构建。数据集时间范围从2015年7月1日至今，包含96,865个小时数据点，无缺失小时。数据内容包括原始电力需求、基于十个关键地理位置（如芝加哥、纽瓦克、华盛顿特区）的ERA5再分析数据生成的人口加权天气特征（如体感温度、降雪量、短波辐射和云量），以及日历特征（本地时间、美国联邦节假日、度时与度日特征等）。所有数据经过质量控制，标记了插补值和DST转换日。数据来源包括Catalyst Cooperative PUDL项目清洗的EIA-930数据和Open-Meteo提供的ERA5历史天气API。该数据集适用于电力负荷预测、能源市场分析、极端天气事件对电网影响评估等任务，强调冬季和夏季峰值负荷特征，并量化了真实天气数据对预测准确性的提升。数据集以Parquet和CSV格式提供，附带数据字典和构建清单。The PJM Hourly Electricity Demand and Population-Weighted Weather Dataset is an hourly time-series dataset specifically designed for forecasting the load of the PJM grid, the largest regional transmission organization in the United States. It integrates total electricity demand at the PJM RTO level (in megawatt-hours) with population-weighted historical weather data, pre-connected to simplify the construction of load forecasting models. The dataset spans from July 1, 2015, to the present, containing 96,865 hourly data points with no missing hours on the UTC timeline. Data content includes raw electricity demand, population-weighted weather features (such as apparent temperature, snowfall, shortwave radiation, and cloud cover) generated from ERA5 reanalysis data based on ten key locations (e.g., Chicago, Newark, Washington D.C.), and calendar features (local time, U.S. federal holidays, degree-hour and degree-day features based on 65°F). All data undergoes rigorous quality control, with clear markings for imputed values and DST transition days. Data sources include cleaned EIA-930 data from the Catalyst Cooperative PUDL project and ERA5 historical weather API from Open-Meteo. The dataset is intended for tasks such as electricity load forecasting, energy market analysis, and assessing the impact of extreme weather events (e.g., winter storms) on the grid. It emphasizes dual peak load characteristics in winter and summer and quantifies the contribution of real weather data to improving prediction accuracy. The dataset is provided in Parquet and CSV formats, accompanied by a detailed data dictionary and construction checklist.

原始信息汇总

PJM 每小时电力需求与人口加权天气数据集（2015–2026）

基本信息

• 许可证: CC BY 4.0
• 语言: 英文
• 数据集名称: PJM Hourly Demand + Population-Weighted Weather
• 标签: 能源、时间序列、天气、电力、预测、PJM、冬季
• 数据规模: 10K–100K 条记录（96,865 小时，UTC 时间轴无缺失）
• 数据文件格式: Parquet（推荐）、CSV
• 发布时间范围: 2015-07-01 至最新构建版本
• 发布机构: Arimancy LLC

数据集核心内容

本数据集为经人口加权天气联接的 PJM RTO 层级每小时电力需求（MWh）时间序列，包含日历、节假日、度时、辐照度、云量、表观温度及降雪特征，专门用于负荷预测建模。

关键特色

• UTC 规范联接：需求与天气严格按 UTC 时间对齐，无夏令时病理问题；本地时间（美国东部时间，America/New_York）作为派生列提供，春秋夏令时转换日通过 is_dst_transition_day 标记。
• 人口加权天气（十个站点）：基于美国人口普查局 2025 年人口估算，对芝加哥、纽瓦克、华盛顿特区、费城、巴尔的摩、匹兹堡、辛辛那提、克利夫兰、哥伦布、诺福克十个点的 ERA5 再分析数据进行加权，权重分别为 0.2135、0.1845、0.1464、0.1433、0.0647、0.0548、0.0524、0.0490、0.0507、0.0407，覆盖约三分之二的服务人口。
• 冬季相关列：人口加权表观温度（apparent_temp_pop_wt_c，摄氏度）、人口加权降雪（snowfall_pop_wt_cm，厘米/小时）。
• 太阳相关列：人口加权短波辐射（shortwave_radiation_pop_wt_wm2）、人口加权云量（cloud_cover_pop_wt_pct）。
• 明确的数据溯源标记：每个值均有来源标记（demand_source、weather_model、weather_source 等），便于过滤和可信度评估。

数据来源

数据	来源	许可证
需求主干数据	EIA-930 经 Catalyst Cooperative PUDL 清洗（out_eia930__hourly_operations）	美国公共领域
需求最新尾部数据	EIA Open Data API v2，electricity/rto/region-data，应答者 PJM	美国公共领域
天气数据	Open-Meteo Historical Weather API（ERA5 再分析）	CC BY 4.0
人口权重	美国人口普查局 CBSA 估算（2025 年版）	美国公共领域

数据文件

• pjm_demand_weather_hourly_v1.parquet（推荐）：带类型、压缩，时区可完整保留。
• pjm_demand_weather_hourly_v1.csv：通用访问，时间戳为 ISO 8601 明确偏移格式。

方法论摘要

1. 每小时 PJM 需求（UTC 时段结束）取自 PUDL 清洗后的 Parquet 文件，超过 PUDL 滞后时间后使用 EIA API 补充。
2. 去除重复，优先采用 PUDL 清洗后的真实数据；对 PJM 尚未报告的时段（PUDL 以 missing_value 外推），使用真实 API 报告替代。
3. 在十个网格点分别获取 ERA5 2 米温度、短波辐射、云量、表观温度和降雪数据（Open-Meteo 模型固定为 era5 而非默认的 Best Match）。
4. 每个变量按固定人口权重加权求和。
5. 按 UTC 小时左连接，重新索引至完整小时范围，标记缺失值，对 3 小时及以内的短间隙进行线性插值并标记。
6. 从当地挂钟时间计算日历特征；美国联邦假日以法定与观察两个版本提供；度特征为基于加权温度的度时和度日（基准 65°F）。
7. 每次构建均生成 JSON 清单记录精确的上游来源指纹。

已知局限

• 最新一段需求为初步 EIA 数据（demand_source="eia_api"，未经插补），直至 PUDL 覆盖（约落后 2–3 周）。
• ERA5 模型滞后实时约一周，因此末尾窗口无天气数据（标记为 weather_is_preliminary 和 temp_is_missing），需求值保留，不做裁剪。
• 需求主干读取 PUDL 实验性 nightly 版本，可能在上游版本间发生修订；每次构建的 JSON 清单记录精确指纹，可追溯。
• ERA5 为再分析模型估计值，非地面观测；表观温度为衍生量。
• 数据为 RTO 层级总需求，非分区数据。
• 人口权重为静态（2025 年版）。
• 数据中心增长为结构性趋势，天气特征无法解释；模型通过近期需求滞后项吸收该趋势。
• 回测使用实际天气，评价误差时不宜与使用天气预报和人工修正的 PJM 日前预测误差直接比较。

覆盖区域与说明

• 覆盖范围：PJM RTO 全足迹，13 个州及华盛顿特区，约 6500 万人口，为美国最大电力市场。
• 天气代表点：十个站点覆盖约三分之二服务人口；西弗吉尼亚、肯塔基、费城大都市区以外的特拉华州以及农村负荷未单独代表。
• 权重处理细节：纽瓦克权重使用新泽西州人口减去其在费城 CBSA 的四个县；芝加哥 CBSA 保留其由 MISO 服务的西北印第安纳部分，均遵循系列惯例。

搜集汇总

数据集介绍

构建方式

本数据集构建于PJM RTO（美国最大的电网运营商）2015年7月至2026年的逐时电力需求历史记录之上。需求侧数据主干源自Catalyst Cooperative的PUDL项目对EIA-930报表的清洗与插补，近两个月的最新数据则直接从EIA开放数据API获取，并标记为初步数据。核心创新在于将用电需求与人口加权后的气象要素进行精密融合：基于2025年美国人口普查局的大都市统计区估计值，选取覆盖约三分之二服务人口的十个气象站点（包括芝加哥、纽瓦克、华盛顿特区等），对各站点ERA5再分析资料中的温度、短波辐射、云量、表观温度及降雪量进行人口加权，并以严格的世界协调时（UTC）作为连接基准，避免了夏令时切换带来的数据病理问题。所有插补、标记与初步数据细节均被明确记录。

特点

该数据集的核心价值在于其经过精心校核的融合过程与透明化的数据溯源。所有气象变量均采用固定模型（ERA5）而非默认的最佳匹配，保证了时间序列的一致性。数据集特别为冬季负荷建模设计了表观温度与降雪量加权字段，其中表观温度在基准实验中验证了其对提升预测精度的稳健增益。逐时需求与气象数据以UTC对齐，并衍生出东部标准时间与夏令时标记。数据来源全链路可追溯，每个构建版本均附带JSON清单，记录上游数据源的确切指纹。此外，数据集引入了明确的标签系统，如区分初步需求数据（eia_api）与清洗后数据，以及标记气象数据的最终状态，使用户能够根据数据可信度灵活筛选。

使用方法

本数据集以Parquet和CSV两种格式提供，适用于电力负荷预测、气象经济学分析及时间序列建模等任务。建议用户使用LightGBM等梯度提升模型或时序神经网络进行预测。数据已按UTC时间索引，包含完整的日历特征、美国联邦法定节假日标记以及基于华氏65度基准的小时度时数与日度日数。使用前需注意最新时段的气象数据因ERA5再分析延迟而存在空缺，这些时段的气象字段被标记为初步或缺失。特别地，由于数据集使用了真实历史气象数据，其误差评估结果不应与使用气象预报的实时调度预测进行直接对比。建议将需求滞后项与人口加权气象特征共同作为模型输入，以捕捉负荷的季节性与天气敏感性。

背景与挑战

背景概述

在电力系统负荷预测领域，准确建模电力需求与气象因素之间的非线性耦合关系是提升预测精度的关键瓶颈。PJM Hourly Electricity Demand + Population-Weighted Weather数据集由Arimancy LLC于2015年至2026年间构建，依托美国最大的电网运营商PJM（覆盖13个州及华盛顿特区，服务约6500万人口）的负荷数据与ERA5再分析气象资料，旨在解决负荷预测中数据对齐与预处理的核心难题。该数据集通过UTC严格时间对齐、人口加权气象插值及十点代表性站点选择，提供了96,865小时无缺失的负荷-气象联合时序。其发布对电力系统调度、极端天气事件（如冬季风暴Elliott）响应及数据中心负荷增长趋势分析产生了重要推动作用，已成为负荷预测基准研究的标准数据资源。

当前挑战

该数据集中所解决的领域挑战主要包括：首先，负荷预测长期受困于气象数据与电力需求的时空匹配误差——传统数据集常忽略人口分布权重及跨时区对齐问题，导致模型泛化能力不足；该数据集通过UTC标准联接与人口加权方案，将原始负荷-气象联合误差降低了约0.8个MAPE百分点。其次，构建过程面临多重技术挑战：气象数据源于ERA5再分析模型，其滞后约一周的更新周期导致近期时间窗内气象字段缺失，需通过插值与标记策略处理；需求数据需融合EIA官方未经处理的初级数据与PUDL清洗的稳定版本，在实报值大于插补值原则下进行冲突消解；人口权重基于2025年人口普查静态估计，无法动态响应城市扩张与迁徙趋势。这些挑战共同塑造了该数据集在科学性、完整性与实用性间的精心权衡。

常用场景

经典使用场景

PJM Hourly Electricity Demand + Population-Weighted Weather数据集最经典的使用场景是电力负荷的短期与中长期预测。该数据集整合了美国最大电网PJM RTO的逐时用电需求（MWh）与经过人口加权的ERA5再分析气象数据，涵盖2015年至2026年近9.7万小时无缺失时间序列。研究者可将此数据集作为基准，采用时序模型（如LSTM、Transformer）或梯度提升树（如LightGBM）进行负荷预测实验，其内置的日历、节假日、度小时、太阳辐射、云量、表观温度及降雪等特征，使得模型能够精细捕捉天气对负荷的驱动效应，是验证预测算法在真实复杂电网数据上泛化能力的理想平台。

衍生相关工作

该数据集已衍生出多项经典研究与应用成果。首条工作线聚焦于负荷预测中的天气特征消融分析：基线研究系统对比了从仅含日历滞后特征到完整气象特征的模型性能差异，量化了ERA5再分析数据相比简单天气指标的实际增益。第二条工作线围绕极端事件建模，利用冬季风暴Elliott与2025年1月寒潮的实测数据，开发了针对低温高负荷场景的鲁棒预测方法。第三条工作线涉及数据质量对预测的影响——数据集中显式标记的天气初步值、插值标志及来源版本，被用于研究再分析数据延迟与替换策略对实时预测稳健性的冲击。此外，人口加权方法本身也已成为电网负荷预测社区的技术范例，被后续类似数据集（如CAISO）采纳为标准化处理流程。

数据集最近研究

最新研究方向

该数据集聚焦于美国最大电力市场PJM的负荷预测前沿，创新性地将人口加权ERA5再分析天气数据与小时级电力需求进行精确对齐，并嵌入冬季风暴埃利奥特（2022年12月）及2025年1月寒潮等极端天气事件，捕捉了冬季电力系统承压的临界状态。随着数据中心扩张驱动负荷创历史新高（2024至2026年月均七月需求增长约10%），该数据集为量化天气波动与结构性负荷增长的双重驱动力提供了高保真基准。通过特征消融实验验证，实际天气数据可降低LightGBM模型约0.8百分点的MAPE，揭示了天气信息在提升预测精度中不可替代的价值。其开源的构建流程与严格的数据溯源机制，为后续研究可复现的极端天气-负荷交互效应及数据驱动型电网韧性评估奠定了方法论基石。