TFB

arXiv2024-04-08 更新2024-07-30 收录

时序预测

机器学习评估

数据链接：

https://github.com/decisionintelligence/TFB 数据链接链接失效反馈

官方服务：

资源简介：

TFB是一个自动化的时间序列预测方法基准，包含来自10个不同领域的数据集，用于评估和比较统计学习、机器学习和深度学习方法。

TFB is an automated benchmark for time series forecasting methods. It incorporates datasets from 10 distinct domains and is designed to evaluate and compare statistical learning, machine learning, and deep learning methods.

创建时间：

2024-03-29

原始信息汇总

TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods

简介

TFB是一个为时间序列预测研究设计的开源库。它提供了一个干净的代码库，用于端到端评估时间序列预测模型，并与各种评估策略和指标下的基线算法进行性能比较。

快速开始

安装

从PyPI

在Python 3.8环境下，使用以下命令安装依赖项：

shell pip install -r requirements.txt

从Docker

提供了Dockerfile，需要安装Docker服务：

shell docker build . -t tfb:latest docker run -it -v $(pwd)/:/app/ tfb:latest bash

数据准备

从Google Drive获取预处理好的数据集，并将其放置在./dataset文件夹下。

训练和评估模型

提供了所有基准测试的实验脚本，位于./scripts/multivariate_forecast和./scripts/univariate_forecast文件夹下。例如，可以按以下方式复现实验结果：

shell sh ./scripts/multivariate_forecast/ILI_script/DLinear.sh

开发自己的方法

提供了如何开发自己方法的教程。

评估自己的时间序列

提供了如何评估自己时间序列的教程。

常见问题

如何在Pycharm中运行代码？

在Pycharm中运行时，请转义双引号，去除空格，并去除开头和结尾的单引号。

引用

如果发现此仓库有用，请引用我们的论文：

@article{qiu2024tfb, author = {Xiangfei Qiu and others}, title = {{TFB:} Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods}, journal = {Proc. {VLDB} Endow.}, volume = {17}, number = {9}, pages = {2363--2377}, year = {2024} }

联系

如有任何问题或建议，请联系：

Xiangfei Qiu (xfqiu@stu.ecnu.edu.cn)
Xingjian Wu (xjwu@stu.ecnu.edu.cn)

搜集汇总

数据集介绍

构建方式

TFB数据集的构建旨在提供一个全面且公平的时间序列预测方法基准，以解决现有基准在数据域覆盖、方法比较和评估流程方面的不足。TFB数据集从10个不同领域（交通、电力、能源、环境、自然、经济、股市、银行、健康和网络）收集了多样化的时间序列数据。通过使用模式频率分析（PFA）和主成分分析（PCA），TFB确保了所选数据能够涵盖90%的方差，从而更好地反映方法的性能。数据集包括25个多元时间序列和8068个单元时间序列，这些数据集在特征、频率和序列长度上具有广泛的多样性。

特点

TFB数据集的特点在于其全面性、多样性和公平性。首先，它涵盖了来自不同领域的广泛数据集，包括经济、交通、健康和能源等，从而提供了更全面的时间序列特征覆盖。其次，TFB包含了各种预测方法，包括统计学习、机器学习和深度学习方法，并支持多种评估策略和指标，确保了更全面的评估。最后，TFB采用了一个灵活且可扩展的评估流程，消除了偏见，并支持不同方法的集成，从而提高了评估的公平性。

使用方法

使用TFB数据集的方法非常直观。首先，用户需要将其预测方法架构部署在方法层，并选择或配置配置文件。然后，TFB会自动运行整个评估流程，包括数据加载、预处理、模型调用、后处理和结果报告。TFB支持CPU和GPU硬件的兼容性，以及顺序和并行程序执行，为用户提供多种选择。此外，TFB还提供了一个用户友好的界面，使得研究人员可以轻松地进行实验和评估。

背景与挑战

背景概述

时间序列数据在众多领域，如经济、交通、健康和能源中产生，对这些数据进行预测对于未来的应用具有重要意义。为了促进该领域的研究，研究者们提出了多种预测方法。为了确保这些方法的有效性，迫切需要一种全面且可靠的评估框架来比较这些方法。TFB（Time Series Forecasting Benchmark）是一个自动化基准，旨在通过解决数据集、比较方法和评估流程中的缺陷，推动时间序列预测领域的发展。TFB由来自华东师范大学、华为云算法创新实验室和奥尔堡大学的研究团队创建，旨在解决现有评估框架的三个主要问题：数据领域覆盖不足、对传统方法的偏见以及评估流程的不一致和缺乏灵活性。TFB通过包含来自10个不同领域的8,068个单变量时间序列和25个多变量时间序列数据集，为研究人员提供了更全面的评估方法。

当前挑战

TFB面临着一系列挑战，包括如何确保所包含数据集的全面性和代表性，如何避免对某些方法的偏见，以及如何构建一个既一致又灵活的评估流程。为了应对这些挑战，TFB采用了一系列策略，如广泛覆盖数据领域、包括多样化的方法（包括统计学习、机器学习和深度学习方法），以及提供灵活可扩展的评估流程。此外，TFB还支持多种评估策略和指标，以确保对不同方法的全面评估。TFB的创建和实施旨在提供一个公平、全面且用户友好的基准，以促进时间序列预测领域的研究和发展。

常用场景

经典使用场景

TFB数据集主要用于时间序列预测方法的综合评估和公平比较，它提供了广泛的数据集覆盖，包括交通、电力、能源、环境、自然、经济、股市、银行、健康和网络等多个领域。此外，TFB还支持多种评估策略和指标，以确保对各种方法的全面评估。该数据集的设计旨在解决现有评估框架的不足，如数据领域覆盖不足、对传统方法的偏见以及评估流程的不一致和不灵活等问题。

衍生相关工作

TFB数据集的提出和设计对时间序列预测领域产生了重要的影响，并衍生出了一些相关的研究工作。例如，一些研究人员基于TFB数据集对不同的时间序列预测方法进行了深入的比较和分析，以找出最适合特定数据集和设置的方法。此外，TFB还启发了其他研究者开发新的时间序列预测方法，以提高预测精度和效率。TFB数据集的发布和推广，为时间序列预测领域的研究和应用提供了重要的数据支持和评估工具，推动了该领域的发展。

数据集最近研究