de-power-forecast-data

DE Power Forecast 是一个用于德国电力预测的开源时间序列数据集，包含太阳能、陆上风能和海上风能发电的实际值和预测值。数据自动从ENTSO-E透明度平台、Open-Meteo气象服务以及Energy-Charts收集，并按照时间可用性组织，确保回测的公平性。数据集包含多个子集：实际发电量（15分钟间隔，MW）、TSO日前和日内预测、历史快照（每15分钟记录值变化）、天气模型运行数据（ECMWF IFS、DWD ICON-D2、ICON-EU，每小时，16个点位）、历史天气运行数据以及装机容量（月数据）。覆盖区域包括德国全国及其四个控制区（50HZ、Amprion、TenneT、TransnetBW）。目标是预测太阳能、陆上风电和海上风电出力。数据规模在数百万条记录级别，以Parquet格式存储，提供多种时间戳列（如ts、fetched_at、seen_at、available_at）。数据集适用于电力系统预测、时间序列分析、可再生能源研究等任务，基于CC BY 4.0许可发布。DE Power Forecast is an open-source time series dataset for German power forecasting, containing actual and forecasted values of solar, onshore wind, and offshore wind generation. Data is automatically collected from the ENTSO-E Transparency Platform, Open-Meteo weather services, and Energy-Charts, and organized by time availability to ensure fairness in backtesting. The dataset includes multiple subsets: actual generation (15-minute intervals, MW), TSO day-ahead and intraday forecasts, historical snapshots (every 15 minutes recording value changes), weather model run data (ECMWF IFS, DWD ICON-D2, ICON-EU, hourly, 16 locations), historical weather run data, and installed capacity (monthly). Coverage includes Germany and its four control areas (50HZ, Amprion, TenneT, TransnetBW). The goal is to predict solar, onshore wind, and offshore wind power output. The dataset contains millions of records, stored in Parquet format, with multiple timestamp columns (e.g., ts, fetched_at, seen_at, available_at). It is suitable for tasks such as power system forecasting, time series analysis, and renewable energy research, and is released under the CC BY 4.0 license.

原始信息汇总

DE Power Forecast – data 数据集总结

基本信息

• 数据集名称：DE Power Forecast data
• 许可证：CC BY 4.0
• 语言：英语（en）、德语（de）
• 标签：energy、electricity、renewable-energy、time-series、forecasting、germany
• 数据规模：1M < n < 10M

数据集简介

该数据集为德国太阳能、陆上风电和海上风电发电量预测的输入数据与目标数据，由代码仓库 ak16o7/de-power-forecast 中的 GitHub Actions 任务自动采集。

数据布局规则：每个数值都附带其变得可用的时间。在时间 T 发布的预测只能使用 seen_at / available_at ≤ T 的行，这是保证回测诚实性的关键。

配置（Configs）

配置名称	数据文件路径
actual_generation	entsoe/a75///*.parquet
tso_forecast_day_ahead	entsoe/a69_da///*.parquet
tso_forecast_intraday	entsoe/a69_id///*.parquet
vintages	vintages/entsoe//.parquet
weather_runs_ecmwf_ifs	weather/runs/ecmwf_ifs//.parquet
weather_runs_icon_d2	weather/runs/icon_d2//.parquet
weather_runs_icon_eu	weather/runs/icon_eu//.parquet
weather_previous_runs_ecmwf_ifs	weather/previous_runs/ecmwf_ifs//.parquet
weather_previous_runs_icon_d2	weather/previous_runs/icon_d2//.parquet
weather_previous_runs_icon_eu	weather/previous_runs/icon_eu//.parquet
installed_capacity	capacity/latest.parquet

文件说明

路径	内容	时间列
entsoe/a75/{area}/{YYYY}/{YYYY-MM}.parquet	实际发电量（ENTSO-E A75），15 分钟，MW，最新已知值	ts（区间起始，UTC）、fetched_at
entsoe/a69_da/…、entsoe/a69_id/…	TSO 风能与太阳能预测，日前（A01，约 CET D-1 18:00 发布）与日内（A40，约 CET D 08:00）	ts、fetched_at
vintages/entsoe/{YYYY}/{YYYY-MM-DD}.parquet	每 15 分钟记录器日志：A75 与 A69（日前、日内、当前）的每个新增或变更值及观测时间	ts、seen_at
vintages/entsoe/parts/{day}/…	当前 UTC 日的同类数据，午夜后压缩	—
weather/runs/{model}/{YYYY-MM}/{run}.parquet	每个天气模型运行一个文件，16 个点，逐小时	run、valid、available_at、fetched_at、source（live = 发布时记录，archive = 回填）
weather/previous_runs/{model}/{YYYY}/{YYYY-MM}.parquet	在 valid 前 ≥ 24 小时（lead_days=1）与 ≥ 48 小时（lead_days=2）的预测值	valid、available_at = valid − N·24 h + 模型延迟（上限）
capacity/latest.parquet、capacity/snapshots/{date}.parquet	每月装机容量（GW），含快照（因后续会修订）	month、seen_at
reports/baseline.json	基线分数：TSO 预测、持续性、朴素日前规则；按技术与提前时间的 MAE、RMSE、偏差、nMAE，整体、最近 12 个月及逐月	generated_at
state/*.json、status.json	任务记录与健康状况	—

区域、目标与天气模型

• 区域（Areas）：DE（德国）及控制区 50HZ、AMP（Amprion）、TTG（TenneT）、TBW（TransnetBW）
• 目标（Targets）：solar、wind_on、wind_off
• 天气模型：ecmwf_ifs（ECMWF IFS HRES 9 km）、icon_d2（DWD ICON-D2 2 km）、icon_eu（DWD ICON-EU 7 km）
• 点位：13 个陆上区域和 3 个海上站点（北海 ×2，波罗的海），详见代码仓库中的 dpf/config.py

来源与许可证

• ENTSO-E Transparency Platform（A75、A69）：属 ENTSO-E 免费再利用数据清单，CC BY 4.0。来源：ENTSO-E Transparency Platform。
• 天气数据：Open-Meteo（CC BY 4.0），底层模型由 ECMWF 与 Deutscher Wetterdienst 提供。
• 装机容量：Energy-Charts（Fraunhofer ISE），CC BY 4.0。

本数据集以 CC BY 4.0 发布，请注明上述来源。数值按接收原样提供，不作任何保证；在 TSO 发布计量值之前，实际值为临时值。

搜集汇总

数据集介绍

构建方式

该数据集经由自动化采集流程构建而成，依托GitHub Actions作业持续从ENTSO-E透明度平台、Open-Meteo及Energy-Charts等权威数据源获取德国太阳能、陆上风电与海上风电的发电数据。采集过程严格遵循时间戳溯源原则，每条记录均标注其可见或可用时刻，确保预测模型在回溯测试中仅能访问当时可得的信息，从而保障评估的诚实性。数据按类别分目录存储，涵盖实际发电量、输电系统运营商预测、天气模型运行结果及装机容量等，形成结构清晰、版本可追溯的时序数据体系。

特点

该数据集的核心特质在于其内嵌的实时可用性约束机制，即为每个数值附加seen_at或available_at时间戳，明确界定信息在何时进入预测视野。这一设计使得基于历史数据的回溯测试能够真实还原预测时点的信息集，避免前视偏差。数据集覆盖德国四大控制区，整合了日前与日内输电系统运营商预测、多源天气预报及装机容量修订快照，时间分辨率达15分钟，总量介于百万至千万级，兼具广度与精细度，适用于可再生能源预测模型的训练与稳健性评估。

使用方法

使用者可依据配置名称直接加载特定数据子集，如actual_generation、tso_forecast_day_ahead或各类天气模型运行数据。在构建预测模型时，需严格遵循时间戳约束，仅选用seen_at或available_at不晚于预测发布时刻的记录，以模拟真实预测场景。数据集提供的基线评分文件可用于模型性能对比，涵盖平均绝对误差、均方根误差等指标。天气数据按模型运行批次组织，支持多提前期预测实验。使用时应遵循CC BY 4.0许可，并注明数据来源。

背景与挑战

背景概述

德国可再生能源发电量占比持续攀升，太阳能与风电的出力预测因此成为电力系统调度与市场交易的关键环节。de-power-forecast-data数据集由独立研究者基于GitHub自动化流程构建，汇集了ENTSO-E透明度平台的实际发电量、输电系统运营商日前与日内预测，以及ECMWF和DWD数值天气预报的多个模式运行结果与装机容量快照。该数据集以数据可得时点为核心组织原则，为回溯测试提供了避免未来信息泄露的严格时间戳体系，对可再生能源预测方法学的可复现研究具有基础性支撑价值。

当前挑战

该数据集所针对的领域问题在于，新能源发电预测模型必须仅依赖预测发布时刻实际可获取的信息，而实际中数据发布存在延迟、修订与版本更迭，容易在回溯评估中引入前视偏差。构建过程中，需要持续抓取并固化ENTSO-E实际值与预测值的每一次变更，维护多源异构天气模式运行的可得时点记录，同时应对装机容量随月修订带来的基准漂移。确保时间戳语义的一致性与数据版本的可追溯性，是该数据集面临的核心技术挑战。

常用场景

经典使用场景

在可再生能源功率预测领域，该数据集最经典的使用场景是构建和评估德国太阳能、陆上风电及海上风电的短期与日前发电功率预测模型。研究者可利用其包含的TSO日前与日内预测、实际发电量、多模式数值天气预报以及装机容量等多源异构数据，训练机器学习或统计模型，并严格依据数据中seen_at与available_at时间戳进行无未来信息泄露的回测，从而模拟真实预测场景下的模型性能。

衍生相关工作

围绕该数据集已衍生出多项经典研究工作，包括基于梯度提升与深度神经网络的多模态功率预测基准测试、针对预测时效衰减特性的概率预测方法比较，以及利用历史预报修订序列开展的数据同化与在线更新策略研究。此外，该数据集亦被用于构建开源预测流水线与基准分数报告，为后续研究提供了可复现的对照基线。

数据集最近研究

最新研究方向

在可再生能源高比例接入电力系统的背景下，德国电力预测数据（de-power-forecast-data）为时序预测与因果回溯研究提供了关键支撑。当前前沿方向聚焦于利用该数据集中的vintages与available_at时间戳，构建严格避免未来信息泄露的回溯测试框架，以评估光伏与风电预测模型在真实信息集下的鲁棒性。同时，气象模型运行数据（ECMWF IFS、ICON系列）与装机容量快照的整合，推动了多模态融合预测与概念漂移适应研究。该数据集还支持对TSO日前与日内预测误差的归因分析，为提升电力市场平衡与系统调度效率提供实证基础，对实现德国能源转型目标具有重要影响。