BasicTS

arXiv2023-10-10 更新2024-08-06 收录

下载链接：

http://arxiv.org/abs/2310.06119v1

下载链接

链接失效反馈

官方服务：

资源简介：

BasicTS是一个为多变量时间序列预测设计的基准，用于公平比较，建立了统一的训练流程和合理的评估设置，支持超过30种流行模型的无偏评估，涵盖了18个以上的数据集。

BasicTS is a benchmark designed for multivariate time series forecasting to facilitate fair comparisons. It establishes a unified training pipeline and reasonable evaluation setup, enabling unbiased evaluation of over 30 popular models and covering more than 18 datasets.

创建时间：

2023-10-10

搜集汇总

数据集介绍

构建方式

在多元时间序列预测领域，基准测试的公平性长期面临挑战，BasicTS的构建旨在解决这一核心问题。该数据集通过设计统一的训练流程，整合了数据加载、模型运行与评估三大模块，确保所有模型在一致的预处理、优化策略与评价标准下进行对比。具体而言，其采用z-score归一化作为默认数据处理方法，引入外部时间特征，并统一使用掩码平均绝对误差作为损失函数，同时集成了课程学习与梯度裁剪等训练技巧。这一架构有效消除了以往研究中因数据划分、训练配置与评估实现差异所导致的性能不一致问题，为超过30种主流预测模型在18个数据集上提供了公平、可复现的评估基础。

特点

BasicTS的显著特点在于其全面性与异构性分析。它不仅涵盖了交通、能源、气象等多领域实际系统的多元时间序列数据，更首次系统性地揭示了数据集的异构特性。在时间维度上，数据集被划分为具有清晰稳定模式、显著分布漂移及模式不明确三类；在空间维度上，则通过量化空间不可区分性指标，区分出具有显著空间依赖性与无明显空间依赖性的数据集。这种分类深刻表明，不同技术路线的有效性高度依赖于数据的内在模式，忽视异构性正是引发技术路线争议的根本原因。BasicTS通过提供丰富的异构数据集，为深入理解模型适用范围与局限性奠定了坚实基础。

使用方法

BasicTS为研究者提供了便捷高效的模型评估与开发平台。用户仅需遵循标准模型接口定义网络架构，即可通过配置文件灵活调整数据加载、训练参数与评估指标，无需重复实现底层训练流程。该基准支持包括平均绝对误差、均方根误差、平均绝对百分比误差在内的多种重归一化后评估指标，确保预测误差的直观可比性。基于其提供的统一框架，研究者能够公平比较长时序预测与时空预测模型的性能与效率，并可依据数据集的时间模式稳定性与空间不可区分性分析结果，有针对性地选择或设计模型架构，从而推动多元时间序列预测领域向更可靠、更深入的方向发展。

背景与挑战

背景概述

在多元时间序列预测领域，随着深度学习技术的蓬勃发展，长时序预测与时空预测成为研究热点。然而，模型评估的公平性与技术路线的选择长期存在争议，阻碍了领域的实质性进展。为此，中国科学院计算技术研究所等机构的研究团队于2023年提出了BasicTS基准。该基准旨在通过统一的训练流程与合理的评估设置，解决现有研究中性能不一致与评价方法不合理的问题，为超过30种主流模型和18个数据集提供公正、全面的比较平台，从而推动多元时间序列预测领域的标准化与深入探索。

当前挑战

BasicTS所应对的核心挑战主要体现在两个方面：在领域问题层面，多元时间序列预测长期面临模型评估标准不统一、性能比较失真的困境，导致不同研究间的结果难以直接对比，甚至出现早期基线模型被低估的现象。在构建过程中，研究团队需克服数据预处理、训练配置与评估实现等方面的异质性，例如归一化方法、损失函数设计以及指标计算的差异，这些细微差别会显著影响模型性能的公平呈现。此外，数据集的时空异质性，如模式稳定性与空间不可区分性的差异，进一步增加了构建统一基准的复杂性。

常用场景

经典使用场景

在多元时间序列预测领域，BasicTS作为一个综合性基准工具，其经典使用场景主要体现在为研究者提供一个公平、统一的评估平台。通过整合超过30种主流预测模型和18个异构数据集，BasicTS能够系统性地比较长时序预测和时空预测模型的性能差异。该基准通过标准化的数据预处理流程、训练配置和评估指标，消除了以往研究中因实验设置不一致导致的性能偏差，使得模型间的横向对比更具科学性和可信度。

衍生相关工作

基于BasicTS的基准框架和异质性分析，衍生出了一系列深入探索多元时间序列预测本质的研究工作。例如，研究开始关注数据集的时空特性分类，如将时间维度划分为稳定模式、分布漂移和模糊模式，空间维度则依据不可区分性度量进行划分。这些工作进一步推动了模型设计的精细化，如针对不同模式设计自适应架构，或开发轻量级替代方案以平衡效率与精度。此外，BasicTS也为后续研究提供了可复现的实验基础，促进了领域内方法论的科学演进。

数据集最近研究