Energy Scenario Evaluation Dataset and Benchmark (Energy-EVA)

能源场景评估数据集和基准测试（Energy-EVA）作为能源领域应用的专用评估标准，目前专注于零样本时间序列预测任务，包括可再生能源生产和工业使用。它提供了一个一致的框架和数据集，用于评估实际能源环境中的模型泛化能力，并具有多功能结构以促进未来多模态任务的整合。展望未来，Energy-EVA计划扩大其范围以涵盖各种任务类型，包括面向能源的大型语言模型应用和电网检查等场景的视觉任务。

The Energy Scene Evaluation Dataset and Benchmark (Energy-EVA) is a specialized evaluation standard for energy-sector applications. Currently, it focuses on zero-shot time series forecasting tasks, including renewable energy production and industrial energy utilization. It provides a consistent framework and dataset for evaluating model generalization capabilities in real-world energy environments, and features a versatile structure to facilitate the integration of future multimodal tasks. Looking ahead, Energy-EVA plans to expand its scope to cover various task types, including energy-oriented large language model applications and visual tasks in scenarios such as grid inspection.

原始信息汇总

Energy Scenario Evaluation Dataset and Benchmark (Energy-EVA) 数据集概述

数据集简介

Energy Scenario Evaluation Dataset and Benchmark (Energy-EVA) 是一个专注于能源领域应用的专用评估标准，当前主要针对零样本时间序列预测任务，包括可再生能源生产和工业使用。该数据集提供了一个一致的框架和数据集，用于评估实际能源环境中的模型泛化能力，并具有多功能结构以便未来纳入多模态任务。

主要特点

• 为能源和电力应用定制的时间序列数据集
• 为精确的能源和电力预测定制的评估指标
• 领先开源模型（包括 Moirai、Chronos、TiRex、Sundial、TOTO 和 TimesFM，以及 EnergyTS 2.0）与我们专有模型 EnergyTS 2.0 的性能比较

场景描述

提供三个场景的评估基准：

1. 单变量电力负荷预测 - 包含日期时间信息的单变量电力消耗预测
2. 带气象协变量的光伏发电预测 - 包含天气数据和日期时间信息的太阳能发电预测
3. 带气象协变量的风力发电预测 - 包含天气数据和日期时间信息的风力发电预测

每个场景包含若干子数据集，所有数据均来自公开可访问和可追溯的平台，通过数据预处理和处理方法将初始原始数据转换为标准化的评估数据文件。

数据集详情

数据集下载地址：https://zenodo.org/records/17099628

太阳能场景

子数据集名称	实例数量	时间步数量	数据来源
csg_forecast_competition	107	304,760	https://www.nature.com/articles/s41597-022-01696-6
mendeley	8	5,824	https://data.mendeley.com/datasets/gxc6j5btrx/1
pvod	59	142,085	https://www.scidb.cn/en/detail?dataSetId=f8f3d7af144f441795c5781497e56b62
solete	10	29,184	https://data.dtu.dk/articles/dataset/The_SOLETE_dataset/17040767?file=40097803

风能场景

子数据集名称	实例数量	时间步数量	数据来源
csg_forecast_competition	157	293,977	https://www.nature.com/articles/s41597-022-01696-6
mendeley	12	8,752	https://data.mendeley.com/datasets/gxc6j5btrx/1
europe_offshore_wind	1,160	10,168,560	https://figshare.com/articles/dataset/Dataset_for_the_Paper_Analyzing_Europe_s_Biggest_Offshore_Wind_Farms_a_Data_set_With_40_Years_of_Hourly_Wind_Speeds_and_Electricity_Production_/19139648?file=34079588

负荷场景

子数据集名称	实例数量	时间步数量	数据来源
aemo	40	117,256	https://www.aemo.com.au/energy-systems/electricity/national-electricity-market-nem/data-nem/aggregated-data
entsoe	73	53,352	https://transparency.entsoe.eu/
active_power_load	7	5,160	https://data.mendeley.com/datasets/jxm8d4w4cv/1
icsuci	64	90,930	https://archive.ics.uci.edu/dataset/1158/high-resolution+load+dataset+from+smart+meters+across+various+cities+in+morocco

性能排行榜

太阳能发电预测

模型名称	几何平均相对误差	平均排名	平均准确率
EnergyTS_V2.0	0.4777	1.0667	0.8148
timesfm2_xreg_early	0.5872	2.3333	0.7969
chronos-bolt-base	0.9097	4.0167	0.6748
tirex	0.9201	4.5667	0.6724
moirai_1.1_R_large	1.0479	6.5833	0.6552
sundial_base_128m	0.9749	5.4333	0.6452
toto_151m	0.9646	5.8667	0.6448
dummy_model	1.0000	6.1333	0.6263

风力发电预测

模型名称	几何平均相对误差	平均排名	平均准确率
EnergyTS_V2.0	0.1061	1.0000	0.7870
timesfm2_xreg_early	0.4002	2.8889	0.5964
toto_151m	0.7027	4.3333	0.3670
tirex	0.6887	3.6444	0.3619
sundial_base_128m	0.7046	4.8889	0.3617
moirai_1.1_R_large	0.7040	4.7556	0.3557
chronos-bolt-base	0.7827	6.5111	0.3152
dummy_model	1.0000	7.9778	0.0462

电力负荷预测

模型名称	几何平均相对误差	平均排名	平均准确率
EnergyTS_V2.0	0.6122	1.9167	0.6971
timesfm2_xreg_early	0.6690	3.5667	0.6814
chronos-bolt-base	0.6751	3.6667	0.6811
toto_151m	0.7046	4.9000	0.6763
moirai_1.1_R_large	0.7541	5.7000	0.6709
sundial_base_128m	0.7569	4.3667	0.6689
tirex	0.7766	4.4333	0.6688
dummy_model	1.0000	7.4500	0.6163

许可证

• 代码许可证：Apache 2.0
• 数据许可证：CC BY 4.0

搜集汇总

数据集介绍

构建方式

在能源时间序列分析领域，Energy-EVA数据集通过系统化采集公开可追溯的能源数据构建而成，涵盖光伏发电、风力发电及电力负荷三大核心场景。其构建过程采用标准化数据预处理流程，将原始数据转化为具备统一格式的评估文件，每个子数据集均标注明确的数据来源与时空维度信息，确保数据质量与可复现性。

特点

该数据集突出表现为多场景、多模态的评估框架设计，不仅提供涵盖气象协变量的时序数据，还集成了针对能源领域定制化的评估指标。其特色在于兼容零样本预测任务，并支持主流开源模型与自研模型的性能对比，为能源预测模型的泛化能力评估提供全面基准。

使用方法

用户可通过配置虚拟环境并调用标准化评估管道使用该数据集，支持通过命令行参数灵活指定评估场景与模型类型。系统自动将数据分割为上下文与未来段以调用模型推理，并提供可视化工具与排行榜生成功能，便于研究者量化分析不同模型在能源预测任务中的性能表现。

背景与挑战

背景概述

能源场景评估数据集与基准（Energy-EVA）作为能源领域应用的专项评估标准，由研究团队于近期创建，专注于零样本时间序列预测任务，涵盖可再生能源生产与工业用电等关键场景。该数据集通过整合光伏发电、风力发电及电力负荷等多源公开数据，构建了标准化评估框架，旨在推动能源预测模型的泛化能力研究。其设计兼顾时序分析与多模态拓展潜力，为能源大语言模型与电网视觉检测等新兴应用提供了重要数据支撑，对提升能源系统智能化水平具有显著影响力。

当前挑战

能源预测领域面临的核心挑战在于高波动性可再生能源的精准时序建模，需解决气象协变量与电力负荷间的复杂非线性关系。数据集构建过程中需克服多源异构数据的标准化难题，包括原始数据清洗、频率对齐与缺失值处理等技术瓶颈。同时，零样本评估要求模型具备跨场景泛化能力，这对算法设计提出了更高要求，需平衡计算效率与预测精度之间的权衡关系。

常用场景

经典使用场景

在可再生能源预测领域，Energy-EVA数据集通过提供标准化评估框架，成为零样本时间序列预测任务的基准平台。该数据集特别聚焦于光伏发电、风力发电和电力负荷三大核心场景，每个场景均包含多个来源于公开可追溯平台的子数据集。研究者可利用其统一的数据结构和评估指标，对比包括Moirai、Chronos等前沿模型在内的预测性能，显著提升了跨数据集模型泛化能力验证的科学性与效率。

实际应用

在实际能源管理中，Energy-EVA支撑着电网运营机构对可再生能源发电量的精准预测，显著提升电力系统调度效率。光伏与风电预测场景结合气象协变量，可直接应用于电站级功率输出优化与市场交易决策；电力负荷预测模块则助力配电网运营商实现需求侧管理，降低电网峰谷差。这些应用切实推动了能源系统向数字化、智能化转型，为碳中和目标下的能源结构优化提供技术保障。

衍生相关工作

基于Energy-EVA数据集，衍生出多项能源预测领域的创新研究，包括其自研模型EnergyTS 2.0与TimesFM、TiRex等开源模型的对比分析。该数据集进一步激发了多模态融合预测方法的发展，例如结合气象可视化数据与时间序列的混合模型研究。相关成果已延伸至能源大语言模型应用探索，为电力设备巡检、能源政策模拟等新兴方向提供了基础数据架构。