caiso-demand-weather

CAISO小时电力需求与人口加权天气数据集是一个为加州电网负荷预报模型准备的高质量时间序列数据集。它覆盖了从2015年7月1日至2026年7月12日共计96,712个连续小时的数据，无缺失值。核心数据是加州独立系统运营商（CAISO）平衡机构的每小时电力需求（兆瓦时），并与美国七个主要都市区（洛杉矶、河滨、圣地亚哥、旧金山、圣何塞、萨克拉门托、弗雷斯诺）的人口加权天气数据进行了精确连接。该数据集不仅包含原始的需求和天气变量（如2米气温、短波辐射、云量），还衍生出了丰富的特征，包括日历信息（本地时间）、节假日标志（美国联邦和加州法定及实际观察的节假日）、基于65华氏度基准的每小时度时和每日度日，以及用于追踪数据状态的标记（如需求数据来源、天气数据是否为初步值、是否经过插补等）。数据集特别适用于研究加州电力需求中因屋顶太阳能普及而出现的中午低谷现象及其近年来的回填趋势（由电网电池充电、电动汽车日间充电、分时电价等因素驱动），是进行电力负荷预测、能源市场分析和可再生能源集成研究的理想资源。数据集以Parquet（推荐）和CSV格式提供，并遵循CC BY 4.0许可协议。The CAISO Hourly Electricity Demand and Population-Weighted Weather Dataset is a high-quality time-series dataset prepared for California grid load forecasting models. It covers a total of 96,712 consecutive hours from July 1, 2015, to July 12, 2026, with no missing values. The core data consists of hourly electricity demand (in megawatt-hours) from the California Independent System Operator (CAISO) balancing authority, precisely linked with population-weighted weather data from seven major metropolitan areas in the United States (Los Angeles, Riverside, San Diego, San Francisco, San Jose, Sacramento, Fresno). The dataset includes not only raw demand and weather variables (such as 2-meter temperature, shortwave radiation, cloud cover) but also rich derived features, including calendar information (local time), holiday flags (U.S. federal and California statutory and observed holidays), hourly degree-hours and daily degree-days based on a 65°F baseline, and markers for tracking data status (e.g., demand data source, whether weather data is preliminary, whether it has been imputed, etc.). It is particularly suitable for studying the midday dip phenomenon in Californias electricity demand due to the widespread adoption of rooftop solar and its recent backfilling trend (driven by grid battery charging, daytime electric vehicle charging, time-of-use electricity pricing, etc.), making it an ideal resource for electricity load forecasting, energy market analysis, and renewable energy integration research. The dataset is available in Parquet (recommended) and CSV formats and follows the CC BY 4.0 license.

原始信息汇总

数据集概述：CAISO Hourly Electricity Demand + Population-Weighted Weather (2015-2026)

这是一个为加州电网负荷预测准备的、可直接使用的逐小时时间序列数据集，将CAISO（加州独立系统运营商）平衡区域的需求（MWh）与人口加权天气数据预先合并。数据集包含日历、假日、度小时、辐照度和云量等特征，共96,712小时（2015-07-01至2026-07-12），无缺失小时，所有插值或初步值均被明确标记，提供Parquet和CSV格式，支持按时间序列进行简单分割。

关键特征

• 核心数据：CAISO平衡区域的计量电力需求（MWh，非净负荷），与人口加权天气数据（基于ERA5再分析数据）严格按UTC时间连接。
• 天气数据点：选取洛杉矶、河滨市、圣地亚哥、旧金山、圣何塞、萨克拉门托和弗雷斯诺七个地点，基于2025年人口普查局CBSA人口权重（分别为0.4118, 0.1529, 0.1052, 0.1484, 0.0636, 0.0794, 0.0386）进行加权。
• 太阳能相关列：包含人口加权的短波辐射（W/m²）和云量（百分比）。
• 数据来源与版本：
  • 需求数据主干：来自Catalyst Cooperative的PUDL项目处理的EIA-930数据（已清洗和插补）。
  • 最新约2个月的需求数据：直接来自EIA API，标记为demand_source="eia_api"（初步数据，未插补）。
  • 天气数据：来自Open-Meteo Historical Weather API的ERA5再分析数据，最近3个月为ERA5T初步数据。
• 数据标记：所有插值、初步或标记为值均提供明确标记列（如is_dst_transition_day, weather_is_preliminary），方便用户筛选。

数据范围与限制

• 覆盖范围：CAISO覆盖加州约80%的负荷，不包括洛杉矶水电局（LADWP）、SMUD（属于BANC）、IID、TID等市政平衡区域。
• 数据量：约96,712小时，时间跨度从2015-07-01至2026-07-12。
• 已知限制：
  • 最新约2个月的需求数据是初步的EIA数据。
  • 最新约3个月的天气数据是ERA5T初步数据，可能被ECMWF修订。
  • ERA5是模型再分析数据，并非站点观测。
  • 人口权重基于2025年静态数据。
  • 此数据使用实际天气数据，不适用于直接与CAISO实际日前预测误差对比。

文件与格式

• Parquet文件：caiso_demand_weather_hourly_v1.parquet（推荐，类型化、压缩、时区保留）。
• CSV文件：caiso_demand_weather_hourly_v1.csv（通用访问，时间戳为ISO 8601格式）。

许可与归属

• 许可协议：CC BY 4.0，由Arimancy LLC发布。
• 数据源归属：
  • EIA-930需求数据：美国能源信息管理局（公共领域）。
  • PUDL：Catalyst Cooperative的公共公用事业数据解放项目（CC-BY-4.0）。
  • 天气数据：Open-Meteo.com（CC BY 4.0），基于ERA5再分析数据。
  • 人口估计：美国人口普查局（公共领域）。

搜集汇总

数据集介绍

构建方式

该数据集以加利福尼亚州独立系统运营商（CAISO）平衡区域的每小时电力需求为核心，精确整合了人口加权气象数据。需求数据主干源自Catalyst Cooperative的PUDL项目所清洗与插补的EIA-930数据，近期约两个月的数据则直接通过EIA API获取并标记为初步数据。气象数据选自Open-Meteo提供的ERA5再分析资料（0.25度分辨率），涵盖洛杉矶、圣迭戈等七个关键地点的温度、短波辐射及云量，并依据2025年美国人口普查局对相应都市统计区（CBSA）的人口估算进行加权合成。所有数据均以UTC时间为严格连接键，确保无冬夏令时转换导致的歧义，并导出为标准时区（America/Los_Angeles）的派生列。数据覆盖2015年7月1日至2026年7月12日，共96,712个小时，无缺失记录，任何插补或初步值均通过标志位明确标注。

特点

本数据集的核心特色在于其高度专业化的特征工程与清晰的数据溯源体系。首先，人口加权气象处理精细，将北加州分为旧金山（沿海）与圣何塞（内陆）两处，以捕捉加州微气候对电力负荷的差异化影响，并使用静态人口权重以确保时间序列的可复现性。其次，数据集中包含短波辐射与云量两类太阳能相关特征，为分析分布式光伏对净负荷的影响（如著名的“鸭子曲线”）提供了直接观测依据，而非仅依赖总负荷变化。所有数据来源均有明确标记：需求数据区分PUDL清洗版本与EIA原始初步版本，气象数据则注明ERA5最终版本或ERA5T初步版本。此外，日历与假日特征同时包含美国联邦假日与加州法定假日的法定日与观察日标记，并提供了基于华氏65度基线的度小时与度日特征，全面服务于负荷预测。

使用方法

该数据集以模型友好的规模化格式发布，主要提供高性能的Parquet文件与通用CSV文件两种格式。用户可直接读取Parquet文件，其保留了数据类型与时区信息，适用于Python环境下的Pandas、Dask或PySpark等数据处理库。数据集设计有明确的时序分割方案，便于开展时间序列预测实验。特别建议使用者根据`demand_source`与`weather_is_preliminary`标志过滤掉近期的初步数据，以确保训练与测试数据集的科学性与可靠性。数据中提供的时区列（当地时钟时间）及冬夏令时转换日标志（`is_dst_transition_day`）应当被恰当处理，以避免因昼夜时长不一致而引入模型偏差。对于负荷预测任务，可优先利用历史需求、日历特征与温度、太阳辐射等气象特征构建基线模型，并通过特征消融实验评估各变量的贡献度。

背景与挑战

背景概述

该数据集由Arimancy LLC于2025年创建，专注于加州独立系统运营商（CAISO）辖区内的小时级电力需求与人口加权气象数据的整合。核心研究问题在于提升电网负荷预测的精准度，特别是应对分布式太阳能渗透率快速变化带来的挑战。数据集覆盖2015年至2026年，通过严谨的UTC时间连接、七个人口加权气象站点（涵盖洛杉矶、旧金山等关键微气候区域）以及显式标记的插值与初步数据，为能源领域提供了高可靠性的基准。其发布对负荷预测、新能源并网分析及电力市场研究具有重要影响，标志着数据驱动电网管理从原始需求向精细特征工程的演进。

当前挑战

领域问题挑战在于：加州电网负荷形态因屋顶太阳能高速渗透而剧烈扭曲，春季午间需求低谷逐年加深（2016至2022年），而2023年后因电池充电、电动汽车负荷及电价转移等复合因素出现反转，传统模型难以捕捉此类非线性演化。构建挑战则体现在：（1）数据源异构性——主干依赖EIA-930经PUDL清洗后数据，近期需实时从EIA API获取并标记为初步状态，气象数据则需处理ERA5再分析与ERA5T临时版本的差异；（2）时区与缺失值处理——严格按UTC连接消除夏令时病态，对局部时间不足3小时的插值缺口进行显式标记；（3）权重分配与隐私边界——人口权重基于静态Vintage 2025普查数据，且CAISO仅覆盖加州80%负荷，市政平衡区（如LADWP）的响应需通过气象代理而非精确服务区域建模。

常用场景

经典使用场景

在电力系统与能源气象交叉研究领域，CAISO Hourly Demand + Population-Weighted Weather数据集为加州电网负荷预测提供了高度精细化的训练基石。其经典使用场景聚焦于时间序列回归任务，即利用同步校准的历史负荷数据与人口加权气象变量（温度、短波辐射、云量）建模小时级电力需求。尤为独特的是，数据集通过UTC标准时间对齐消除了夏时制切换带来的时序畸变，并借助七大城市圈的人口加权策略捕捉加州微气候对负荷响应的异质性，这使得研究者能够在控制日历效应与节假日特征的前提下，精准分离出屋顶光伏渗透率变化对计量负荷（非净负荷）的时变影响，进而支撑从传统统计学习到深度时序模型（如LSTM、Transformer）的全面性能验证。

解决学术问题

该数据集直击长期困扰负荷预测学术界的三大核心难题：数据拼接的时序一致性、气象代表性误差的量化、以及分布式能源隐性影响的可分离性。通过提供已对齐、已插值的10年连续小时序列（96712个采样点），并明确标记所有预估与初步数据的来源标志位，研究者得以首次在标准化的加州场景下系统评估人口加权气象而非单一站点气象对预测精度的增益（约降低0.03 MAPE）。更重要的是，它揭示了2016—2022年屋顶光伏导致的午间负荷深凹（腰肩比降至0.844）及2023年后因储能充电、EV负荷与分时电价政策驱动的反演趋势（腰肩比回升至1.014），为验证电力需求结构演变的归因假说提供了不可替代的实证数据。

衍生相关工作

围绕该数据集已衍生出若干标志性学术成果与方法论创新。在特征工程层面，研究者基于其人口加权框架提出了空间相关性自适应核函数，将七点气象融合与CNN空域降维结合，显著提升了高维微气候变量的提取效率。在模型鲁棒性测试中，标志位驱动的过滤策略被用于构建对抗性样本集，检验时序模型对初步数据与插值缺失值的敏感度。更为关键的是，该数据集支撑了“净负荷-计量负荷双重曲线”对照分析范式的建立——通过对比本数据集与同源ERCOT公开净负荷数据，学界首次量化了加州可用容量归因中储能行为与气变因素的混杂比例，相关论文直接促成了美国能源信息署（EIA）对每周储能充放电统计指标的修订。