遇见数据集

nateraw/espeni-3

收藏
Hugging Face2022-09-08 更新2024-03-04 收录
官方服务:

资源简介:

--- license: - unknown zenodo_id: '6606485' converted_from: zenodo --- # Dataset Card for Electrical half hourly raw and cleaned datasets for Great Britain from 2008-11-05 ## Table of Contents - [Table of Contents](#table-of-contents) - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards) - [Languages](#languages) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Dataset Creation](#dataset-creation) - [Curation Rationale](#curation-rationale) - [Source Data](#source-data) - [Annotations](#annotations) - [Personal and Sensitive Information](#personal-and-sensitive-information) - [Considerations for Using the Data](#considerations-for-using-the-data) - [Social Impact of Dataset](#social-impact-of-dataset) - [Discussion of Biases](#discussion-of-biases) - [Other Known Limitations](#other-known-limitations) - [Additional Information](#additional-information) - [Dataset Curators](#dataset-curators) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Homepage:** https://zenodo.org/record/6606485 - **Repository:** - **Paper:** - **Leaderboard:** - **Point of Contact:** ### Dataset Summary <p><strong>A journal paper published in Energy Strategy Reviews details the method to create the data.</strong></p> <p><strong>https://www.sciencedirect.com/science/article/pii/S2211467X21001280</strong></p> <p>&nbsp;</p> <p>2021-09-09: Version 6.0.0 was created. Now includes data for the North Sea Link (NSL) interconnector from Great Britain to Norway (https://www.northsealink.com). The previous version (5.0.4) should not be used - as there was an error with interconnector data having a static value over the summer 2021.</p> <p>&nbsp;</p> <p>2021-05-05: Version 5.0.0 was created. Datetimes now in ISO 8601 format (with capital letter &#39;T&#39; between the date and time) rather than previously with a space (to RFC 3339 format) and with an offset to identify both UTC and localtime. MW values now all saved as integers rather than floats. Elexon data as always from www.elexonportal.co.uk/fuelhh, National Grid data from&nbsp;https://data.nationalgrideso.com/demand/historic-demand-data &nbsp; Raw data now added again for comparison of pre and post cleaning - to allow for training of additional cleaning methods. If using Microsoft Excel, the T between the date and time can be removed using the =SUBSTITUTE() command - and substitute &quot;T&quot; for a space &quot; &quot;</p> <p>_____________________________________________________________________________________________________</p> <p>2021-03-02: Version 4.0.0 was created. Due to a new interconnecter (IFA2 -&nbsp;https://en.wikipedia.org/wiki/IFA-2) being commissioned in Q1 2021, there is an additional column with data from National Grid - this is called &#39;POWER_NGEM_IFA2_FLOW_MW&#39; in the espeni dataset. In addition, National Grid has dropped&nbsp;the column name &#39;FRENCH_FLOW&#39; that used to provide&nbsp;the value for the column&nbsp;&#39;POWER_NGEM_FRENCH_FLOW_MW&#39; in previous espeni versions. However, this has been changed to &#39;IFA_FLOW&#39; in National Grid&#39;s original data, which is now called &#39;POWER_NGEM_IFA_FLOW_MW&#39; in the espeni dataset. Lastly, the IO14 columns have all been dropped by National Grid - and potentially unlikely to appear again in future.</p> <p>2020-12-02: Version 3.0.0 was created. There was a problem with earlier versions&nbsp;local time format - where the +01:00 value was not carried through into the data properly. Now addressed - therefore - local time now has the format e.g.&nbsp;2020-03-31 20:00:00+01:00 when in British Summer Time.</p> <p>2020-10-03: Version 2.0.0 was created as it looks like National Grid has&nbsp;had a significant change&nbsp;to the methodology underpinning the embedded wind calculations. The wind profile seems similar to previous values, but with an increasing value in comparison&nbsp;to the value published in earlier&nbsp;the greater the embedded value is. The &#39;new&#39; values are from&nbsp;https://data.nationalgrideso.com/demand/daily-demand-update from 2013.</p> <p>Previously: raw and cleaned datasets for Great Britain&#39;s&nbsp;publicly available electrical data from&nbsp;Elexon (www.elexonportal.co.uk) and National Grid (https://demandforecast.nationalgrid.com/efs_demand_forecast/faces/DataExplorer). Updated versions with more recent data will be uploaded with a differing&nbsp;version number and doi</p> <p>All data is released in accordance with Elexon&#39;s disclaimer and reservation of rights.</p> <p>https://www.elexon.co.uk/using-this-website/disclaimer-and-reservation-of-rights/</p> <p>This disclaimer is also felt to cover&nbsp;the data from National Grid, and the parsed data from the Energy Informatics Group at the University of Birmingham.</p> ### Supported Tasks and Leaderboards [More Information Needed] ### Languages The class labels in the dataset are in English ## Dataset Structure ### Data Instances [More Information Needed] ### Data Fields [More Information Needed] ### Data Splits [More Information Needed] ## Dataset Creation ### Curation Rationale [More Information Needed] ### Source Data #### Initial Data Collection and Normalization [More Information Needed] #### Who are the source language producers? [More Information Needed] ### Annotations #### Annotation process [More Information Needed] #### Who are the annotators? [More Information Needed] ### Personal and Sensitive Information [More Information Needed] ## Considerations for Using the Data ### Social Impact of Dataset [More Information Needed] ### Discussion of Biases [More Information Needed] ### Other Known Limitations [More Information Needed] ## Additional Information ### Dataset Curators This dataset was shared by Grant Wilson, Noah Godfrey ### Licensing Information The license for this dataset is https://creativecommons.org/licenses/by-nc/4.0/legalcode ### Citation Information ```bibtex @dataset{grant_wilson_2022_6606485, author = {Grant Wilson and Noah Godfrey}, title = {{Electrical half hourly raw and cleaned datasets for Great Britain from 2008-11-05}}, month = jun, year = 2022, note = {{Grant funding as part of Research Councils (UK) EP/L024756/1 - UK Energy Research Centre research programme Phase 3 Grant funding as part of Research Councils (UK) EP/V012053/1 - The Active Building Centre Research Programme (ABC RP)}}, publisher = {Zenodo}, version = {6.0.9}, doi = {10.5281/zenodo.6606485}, url = {https://doi.org/10.5281/zenodo.6606485} } ``` ### Contributions [More Information Needed]

提供机构:
nateraw
原始信息汇总

数据集概述

数据集描述

数据集总结

  • 数据来源:该数据集包含英国从2008年11月5日开始的电力每半小时原始数据和清洗后数据,数据来源于Elexon (www.elexonportal.co.uk) 和 National Grid (https://data.nationalgrideso.com/demand/historic-demand-data)。
  • 数据版本更新:
    • 2021-09-09:版本6.0.0发布,新增North Sea Link (NSL) 互联器数据。
    • 2021-05-05:版本5.0.0发布,时间格式调整为ISO 8601,MW值存储为整数。
    • 2021-03-02:版本4.0.0发布,新增IFA2互联器数据列。
    • 2020-12-02:版本3.0.0发布,修正本地时间格式问题。
    • 2020-10-03:版本2.0.0发布,更新嵌入式风计算方法。
  • 数据使用注意事项:所有数据发布遵循Elexon的免责声明和保留权利。

支持的任务和排行榜

  • 信息缺失:具体支持的任务和排行榜信息未提供。

语言

  • 数据标签语言:英语。

数据集结构

数据实例

  • 信息缺失:具体数据实例信息未提供。

数据字段

  • 信息缺失:具体数据字段信息未提供。

数据分割

  • 信息缺失:具体数据分割信息未提供。

数据集创建

数据整理理由

  • 信息缺失:具体整理理由未提供。

源数据

初始数据收集和标准化

  • 信息缺失:具体数据收集和标准化信息未提供。

源语言生产者

  • 信息缺失:具体源语言生产者信息未提供。

注释

注释过程

  • 信息缺失:具体注释过程信息未提供。

注释者

  • 信息缺失:具体注释者信息未提供。

个人和敏感信息

  • 信息缺失:具体个人和敏感信息处理信息未提供。

使用数据的考虑

数据集的社会影响

  • 信息缺失:具体社会影响信息未提供。

偏见讨论

  • 信息缺失:具体偏见讨论信息未提供。

其他已知限制

  • 信息缺失:具体其他已知限制信息未提供。

附加信息

数据集管理员

  • 数据集分享者:Grant Wilson, Noah Godfrey。

许可信息

引用信息

bibtex @dataset{grant_wilson_2022_6606485, author = {Grant Wilson and Noah Godfrey}, title = {Electrical half hourly raw and cleaned datasets for Great Britain from 2008-11-05}, month = jun, year = 2022, publisher = {Zenodo}, version = {6.0.9}, doi = {10.5281/zenodo.6606485}, url = {https://doi.org/10.5281/zenodo.6606485} }

搜集汇总
数据集介绍
构建方式
该数据集名为nateraw/espeni-3,源自英国伯明翰大学能源信息学组的研究工作,旨在提供英国大不列颠地区自2008年11月5日以来的电力半小时间隔原始与清洗数据。数据集的构建基于Elexon平台和英国国家电网ESO的公开电力数据,并经过系统化的清洗与整合流程。研究团队通过引入ISO 8601格式的时间戳、将兆瓦值统一为整数存储,并保留原始数据以供对比,从而支持多种清洗方法的训练与验证。随着电力基础设施的更新,数据集持续迭代,例如新增了北海连接线(NSL)和IFA2互联线路的流量数据,并修正了夏令时偏移问题,确保数据的时间精度与一致性。
使用方法
用户可通过HuggingFace平台直接加载该数据集,利用Python的datasets库进行高效访问。数据以表格形式组织,包含时间戳、各类电力来源的兆瓦值等字段,适用于时间序列分析、负荷预测、可再生能源整合研究等任务。建议用户在使用前查阅随附的期刊论文(发表于Energy Strategy Reviews)以深入理解数据清洗逻辑。对于Excel用户,可通过替换函数处理时间格式中的'T'分隔符。数据集采用CC BY-NC 4.0许可协议,仅限非商业用途,引用时需注明原始DOI与作者信息。
背景与挑战
背景概述
随着全球能源转型的深入推进,电力系统的运行分析与预测研究对高精度、长时间序列的公开数据集需求日益迫切。由英国伯明翰大学能源信息学团队的Grant Wilson与Noah Godfrey于2022年创建并持续更新的nateraw/espeni-3数据集,聚焦于英国大不列颠地区自2008年11月5日以来的电力半小时间隔原始与清洗数据。该数据集源自Elexon与国家电网等权威公开渠道,历经多次版本迭代(至v6.0.9),不仅整合了北海连接线等跨国电力基础设施数据,还严格遵循ISO 8601时间格式与整数化兆瓦值标准,为能源系统建模、负荷预测及可再生能源并网研究提供了可靠的基础支撑。其相关方法论发表于《Energy Strategy Reviews》,在电力数据分析领域具有重要参考价值。
当前挑战
该数据集所面临的挑战首先体现在电力系统数据固有的复杂性与动态性上。随着新互联线路如IFA2的投运及国家电网数据字段的频繁调整(如FRENCH_FLOW更名为IFA_FLOW),数据集必须持续更新以保持与原始数据源的一致性,这增加了版本管理的难度。其次,构建过程中需应对数据清洗与格式统一的挑战,例如早期版本中本地时间偏移量(+01:00)的缺失问题,以及嵌入风电计算方法变更导致的数值偏差。此外,不同来源数据(Elexon与国家电网)的接口差异与历史错误(如2021年夏季互联器静态值错误)要求研究人员设计鲁棒的校验与修复流程,以确保数据集在长时间跨度下的完整性与准确性。
常用场景
经典使用场景
该数据集nateraw/espeni-3主要应用于电力系统负荷预测与能源供需平衡分析领域。研究者可借助其提供的自2008年11月5日起英国大不列颠地区每半小时的电力原始与清洗数据,开展短期与中期电力负荷建模。数据集包含了来自Elexon与National Grid的公开电力数据,涵盖了发电燃料类型、互联线路流量及嵌入式风电等关键变量,为构建高精度时序预测模型提供了坚实的数据基础。其半小时间隔的精细粒度,使得捕捉日内负荷波动模式成为可能,从而支持诸如长短期记忆网络(LSTM)或Transformer等深度学习方法的训练与验证。
解决学术问题
该数据集有效解决了能源系统研究领域长期存在的两大难题:一是英国公开电力数据来源分散、格式不统一,导致研究复现性差;二是原始数据常含噪声与缺失值,影响模型可靠性。nateraw/espeni-3通过标准化清洗流程,将来自Elexon的发电数据和National Grid的需求数据整合为一致格式,并修正了时区偏移、互联器数据错误等常见问题。这一工作显著降低了数据预处理门槛,使研究者能聚焦于负荷预测算法的创新。其意义在于推动了开放科学在能源领域的实践,为跨研究机构的比较研究提供了统一的基准数据,促进了英国电力系统脱碳路径与需求侧管理策略的量化评估。
实际应用
在实际应用中,该数据集支撑了英国国家电网与能源咨询机构的多项业务需求。电力零售商可基于历史负荷模式,优化动态电价策略与需求响应方案。系统运营商利用其预测未来数小时至数日的电力供需缺口,从而调度备用容量或调整互联器交易计划。此外,分布式能源聚合商可结合嵌入式风电与太阳能的出力数据,评估虚拟电厂的经济效益。随着英国可再生能源占比提升,该数据集在评估储能系统充放电策略、平衡间歇性电源波动方面展现出重要价值,直接服务于低碳电力系统的安全稳定运行。
数据集最近研究
最新研究方向
在能源系统数字化转型与低碳电力调度研究的前沿,nateraw/espeni-3数据集凭借其涵盖英国自2008年以来的半小时间隔电力原始与清洗数据,成为支撑高分辨率负荷建模、可再生能源渗透率分析及跨境互联评估的关键资源。该数据集最新版本已纳入北海联网线路(NSL)的实时潮流数据,为研究英国与挪威间跨国电力交易对系统稳定性的影响提供了实证基础。随着英国电力市场中风电、光伏等间歇性能源占比持续攀升,该数据在训练机器学习模型以预测净负荷波动、识别异常发电模式以及优化储能调度策略方面展现出显著价值。其与Elexon和National Grid官方数据源的紧密对齐,确保了研究成果的可重复性,并推动了从传统统计方法向深度学习驱动的电力系统动态模拟的范式转变,对实现2050净零排放目标具有深远的科学意义和政策参考价值。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务