ercot-hourly-demand-weather

ERCOT每小时电力需求与人口加权天气数据集（2015年至2026年）是一个为德州电网负荷预测量身打造的模型就绪时间序列数据集。该数据集的核心特征是将ERCOT（德州电力可靠性委员会）平衡机构的小时级电力需求数据（兆瓦时）与德州四大都市区（达拉斯-沃斯堡、休斯顿、圣安东尼奥、奥斯汀）的人口加权温度数据进行了预先连接，并包含了丰富的衍生特征。数据集涵盖96,896个连续小时（从2015年7月1日到2026年7月20日），确保无缺失值，所有插补或初步数据均有明确标记。数据内容包括主要时间序列（如ERCOT每小时净需求和人口加权温度）、特征工程（如日历特征、节假日特征、度时/度日特征）以及数据来源标记。该数据集专为电力负荷预测任务设计，尤其适用于研究温度与电力需求之间的关系，并已进行标准化处理，以Parquet和CSV格式提供。ERCOT Hourly Electricity Demand and Population-Weighted Weather Dataset (2015–2026) is a model-ready time series dataset tailored for Texas power grid load forecasting. The core of this dataset pre-joins hourly electricity demand data (in MWh) from ERCOT—the Electric Reliability Council of Texas, the Texas balancing authority—with population-weighted temperature data from Texas’ four primary metropolitan areas: Dallas-Fort Worth, Houston, San Antonio, and Austin, and incorporates a rich set of derived features. The dataset spans 96,896 consecutive hours from July 1, 2015 to July 20, 2026, guarantees no missing values, and all imputed or preliminary data are clearly annotated. Data content and structure are as follows: 1) Primary time series: ERCOT hourly net electricity demand (in MWh) and population-weighted temperature calculated using 2025 Census Bureau weights; 2) Feature engineering modules: Calendar features (based on local time, i.e., U.S. Central Time), holiday features (offering two semantic variants: statutory holiday dates and actual observed holiday dates, plus Texas-specific holidays), and degree-hour/degree-day features (calculated with a baseline of 65 °F); 3) Data source tagging: Explicitly marking the source of each demand data record (either EIA-930 data processed by Catalyst Cooperative PUDL or preliminary data sourced from the EIA API), as well as indicating whether weather data was missing or underwent imputation. This dataset is purpose-built for electricity load forecasting tasks, and is especially suited for researching the relationship between temperature and electricity demand, which displays a typical "U-shaped" curve. The data has been standardized, including strict UTC-based alignment to mitigate daylight saving time discrepancies, as well as linear imputation for short-duration weather data gaps (≤3 hours). The dataset is provided in Parquet (recommended) and CSV formats.

原始信息汇总

数据集概述

名称: ERCOT Hourly Electricity Demand + Population-Weighted Weather (2015 to 2026)

许可证: CC BY 4.0

语言: 英语

标签: 能源、时间序列、天气、电力、预测、德克萨斯

数据规模: 10K < n < 100K（共 96,896 小时记录）

数据集配置: 默认配置，数据文件位于 data/*.parquet

---

核心内容

该数据集是一个为德克萨斯电网负荷预测准备的模型就绪小时级时间序列，核心特点包括：

• 数据范围: 2015年7月1日至2026年7月20日，无缺失小时，所有插值或初步值均有明确标记。
• 关键变量: ERCOT平衡机构电力需求（MWh）与人口加权的大都市温度。
• 附加特征: 包含日历特征、节假日特征和度时特征（degree-hour features）。

---

关键方法论

1. UTC标准时间连接: 需求数据和天气数据严格按照UTC时间连接，避免了夏令时问题，本地时间（America/Chicago）作为派生列提供。
2. 人口加权天气:
   • 基于四个大都市区（DFW、休斯顿、圣安东尼奥、奥斯汀）的ERA5再分析数据。
   • 权重基于美国人口普查局2025年Vintage的CBSA人口估算（0.3886 / 0.3623 / 0.1289 / 0.1201）。
   • 埃尔帕索（El Paso）因其属于WECC而非ERCOT而被排除。
3. 数据来源可追溯:
   • 主要数据来源为经Catalyst Cooperative的PUDL项目清理的EIA-930数据（异常已插值，并带有原因代码）。
   • 最近约2个月的数据直接来自EIA API，标记为demand_source="eia_api"（初步、未插值）。
   • 天气数据缺口仅对不超过3小时的内部缺口进行线性插值，并标记。
   • 附带provenance.md文件，记录了确切的来源范围、获取时间戳和文件校验和。
4. 模型效果评估: 提供的笔记本通过消融实验评估了天气特征的实际价值，结果显示在强需求滞后特征的基础上，加入实际天气特征可使测试MAPE平均降低约0.62个百分点。

---

数据来源

数据	来源	许可证
需求数据（主干）	EIA-930（通过Catalyst Cooperative PUDL）	美国公共领域；PUDL处理过程为CC BY 4.0
需求数据（近期）	EIA Open Data API v2，electricity/rto/region-data，respondent ERCO	美国公共领域
天气数据	Open-Meteo Historical Weather API（ERA5再分析）	CC BY 4.0
人口权重	美国人口普查局CBSA估算，Vintage 2025	美国公共领域

---

数据集文件

• ercot_demand_weather_hourly_v1.parquet：推荐格式，类型化、压缩，时区信息保留。
• ercot_demand_weather_hourly_v1.csv：通用格式，时间戳为ISO 8601并带偏移。

---

已知局限性

• 最近约2个月的需求数据为初步EIA数据（demand_source="eia_api"，未插值）。
• 天气数据尾部不完整且可能修订：ERA5发布延迟5至8天，因此最新行的天气数据可能为空（由temp_is_missing标记），且最近2至3个月的数据为初步近实时ERA5（ERA5T），后续可能调整。
• ERA5为再分析模型估计值，非实际站点观测。
• 四个大都市区覆盖约三分之二的德克萨斯州人口，农村负荷权重偏低。ERCOT本身覆盖约90%的德克萨斯州负荷。
• 人口权重为静态值（Vintage 2025）。
• 基于该数据进行的回测使用的是实际天气数据，不应与ERCOT的当日预测MAPE（约2%）直接比较。

---

版本历史

• v1.1 (2026年7月)：天气数据固定使用ERA5全历史版本，数据刷新至构建日期；新增两种节假日语义；模式扩展至29列；增加了发布加固措施（PUDL到EIA接缝门、需求与天气新鲜度门、构建来源说明等）；基线笔记本改为衡量天气连接带来的边际价值。
• v1 (2026年7月16日)：初始公开发布。

---

许可证与归属

该数据集以CC BY 4.0许可证发布。

• EIA-930需求数据: 美国能源信息管理局，EIA-930表格/小时级电网监控（美国公共领域）。
• PUDL: Catalyst Cooperative的公共数据解放项目（PUDL），PUDL数据及文档以CC-BY-4.0发布。
• 天气数据: 来自Open-Meteo.com（CC BY 4.0）。ERA5: Hersbach et al. (2023), ECMWF, doi:10.24381/cds.adbb2d47。
• 人口估算: 美国人口普查局（美国公共领域）。

维护方: Arimancy (Arimancy LLC)。数据页面：https://arimancy.com/datasets/ercot-hourly-demand-weather。亦可在Kaggle和Hugging Face获取。

搜集汇总

数据集介绍

构建方式

本数据集以ERCOT平衡机构辖区为空间范围，构建了自2015年7月1日至2026年7月20日的小时级时间序列，总计96,896个无缺失小时记录。需求数据主体来源于Catalyst Cooperative的PUDL项目对EIA-930数据的清洗与插补，最新约两个月的数据则直接从EIA API获取，并标记为初步未插补状态。天气数据取自Open-Meteo Historical Weather API提供的ERA5再分析场，选取达拉斯、休斯顿、圣安东尼奥、奥斯汀四个大都市区的机场网格点温度，依据美国人口普查局2025年版CBSA人口估计权重（分别为0.3886、0.3623、0.1289、0.1201）进行人口加权平均，构建单一加权温度序列。需求与天气数据严格以UTC时间为键进行左连接，并重索引至完整小时范围，对内部不超过3小时的短间隔缺失值采用线性插补，所有插补和标记行为均有明确的标志位记录。

使用方法

使用者可直接加载Parquet或CSV格式的源文件进行建模。推荐使用Parquet格式，因其能够保存列的类型信息并保证时区的往返完整性。数据集包含29个特征列，涵盖了需求值、加权温度、缺失标记、UTC与本地时间戳、夏令时转换日标识、假日标志（包含法定与观察两种语义）、以及基于65°F的度小时与度日特征。特别值得注意的是，由于ERA5再分析场发布存在约5至8天的延迟，最新几行数据可能仅有需求值而天气为空，使用者应关注`temp_is_missing`标志位以决定是否纳入训练。配套的验证笔记本提供了使用滞后需求变量与实际天气特征进行回归的基准测试流程，可用于复现天气特征边际贡献的评估，但需注意该基准使用实际天气而非预报值，不宜直接与ERCOT的日前预测误差进行横向比较。

背景与挑战

背景概述

ERCOT Hourly Demand + Population-Weighted Weather数据集由Arimancy LLC于2026年7月发布，旨在为德克萨斯州电网负荷预测提供模型就绪的小时级时间序列。该数据集整合了ERCOT平衡机构的小时电力需求数据（以MWh计）与人口加权的大都市区温度数据，并附带了日历、节假日和度小时特征，覆盖从2015年7月1日至2026年7月20日的96,896个小时，无缺失时隙。其核心研究问题在于解决电力负荷预测中数据连接这一关键难题，特别是需求与天气数据在时区、权重和来源上的复杂整合。该数据集的影响力体现在为能源领域的研究人员和工程师提供了一个清洁、可复现、文档完备的高质量基准，推动了短期负荷预测模型的开发与评估，尤其是在极端天气事件（如2021年冬季风暴乌里和2024年8月创纪录高峰）下的性能分析，为德克萨斯电网的可靠运行和能源政策制定提供了数据支撑。

当前挑战

该数据集所解决的领域问题主要围绕电力负荷预测中的核心挑战，即需求数据与天气数据的准确连接与融合。具体而言，负荷预测的难点不仅在于获取需求数据，更在于正确处理时区差异（如夏令时导致的23或25小时局部日）、选择与人口分布匹配的天气权重（而非单一站点值），以及确保数据来源的透明性与可追溯性。在构建过程中，数据集面临了多项工程挑战：首先是数据源的异构性与时效性，需协调长期稳定的EIA-930数据（经Catalyst Cooperative的PUDL清洗）与最新但初步的EIA API数据，并通过原因代码标识异常插补和初步标记。其次是天气数据的处理，采用ERA5再分析模型而非实测观测，存在5至8天的滞后与瞬时偏差，需通过插值（仅限≤3小时内部缺口）和缺失标记来管理。此外，人口权重基于静态的2025年人口普查估计，忽略了农村负荷和人口迁移的动态变化，而德克萨斯州约三分之二的负荷由四大都市区代表，隐含了区域代表性偏差。这些挑战要求数据集在提供高价值特征的同时，明确记录其局限性与边际效应，以避免误导性的性能比较（如与实际天气预报的误差对比）。

常用场景

经典使用场景

该数据集的核心经典用途在于电力负荷的短期与超短期预测，特别是面向德克萨斯州ERCOT电网的调度需求。通过整合自2015年至今的每小时电力需求数据与经人口加权处理的四大都市区气温信息，研究者能够精确捕捉空调负荷驱动的U型需求-温度曲线。数据集已内置日历特征、法定节假日标识、夏令时转换标记以及度小时与度日等工程化特征，可直接作为时间序列模型的输入，大幅降低了数据清洗与特征工程的重复劳动。其每小时不间断的96,896条记录与严格的UTC时间对齐机制，为构建回归模型、LSTM网络或Transformer架构下的负荷预测实验提供了标准化的基准训练材料。

解决学术问题

该数据集精准回应了电力系统领域长期存在的数据拼接难题——研究者通常需要自行从不同来源采集负荷与气象数据，极易因时区转换错误、缺失值处理不一致或气象站点选取偏差而导致模型结论的偏误。数据集通过公开记录插值与标记策略，并附有消融实验证明天气特征对预测精度的边际贡献，为可复现的学术研究奠定了方法论基础。其最突出的学术价值在于提供了一个开放的对照基准，使后续研究得以在统一的数据口径下比较不同特征工程策略、缺失值处理技术乃至跨区域迁移学习的效果，从而推动负荷预测领域从碎片化数据集向标准化评测平台的演进。

实际应用

在工程实践中，该数据集为德克萨斯州电力市场参与者提供了精准的运营决策支持。独立电力生产商可利用其历史负荷与天气关联模式优化燃气轮机与储能系统的调度策略，降低平衡市场中的偏差结算成本；售电商则能构建更为可靠的日前与日内负荷预测系统，有效管理合约风险。数据集对极端事件的完整记录——如2021年冬季风暴Uri导致的冰点负荷激增与2024年8月近100°F高温下创纪录的85,544兆瓦峰值——使应急管理部门能够针对新型极端气候场景校准需求响应预案。此外，州级电网规划机构还能借由长时序数据识别负荷增长趋势，为输电线路扩容与可再生能源并网规划提供数据支撑。

数据集最近研究

最新研究方向

融合人口加权气象特征的德州电网负荷预测前沿研究。ERCOT小时级电力需求与人口加权气象数据集，通过将2015年至2026年不间断的96,896小时负荷记录与达拉斯、休斯顿、圣安东尼奥和奥斯汀四大都会区的人口加权ERA5再分析气温进行UTC严格对齐，构建了电力负荷预测领域的标杆性时间序列资源。该数据集精准刻画了电力需求与温度间的独特“U型”关系曲线，2024年8月破纪录的85,544兆瓦峰值与2021年冬季风暴Uri事件分别锚定了制冷与供暖两端的极端负荷场景。在方法论上，通过显式标记插值与初步数据来源、提供统计与观测双重视角的节假日标志，以及可复现的构建溯源机制，为深度时序模型、极端天气事件下的电网韧性评估及气候变化对电力系统影响等多维前沿探索奠定了坚实的数据基础设施，其科学价值在于完成了长期困扰行业的负荷与气象数据高质量融合这一基础性工程。