SynTSBench

SynTSBench是一个用于时间序列预测模型评估的合成数据驱动评估框架。该框架旨在通过可编程的特征配置，系统地评估时间序列预测模型的基本建模能力。它通过构建包含趋势、季节性、短期/长期依赖关系、多变量相关性等四个关键时间特征的合成数据集，以及基于传统随机时间序列和信号处理模型的复杂数据集，来模拟现实世界场景。这使得模型能够系统地评估学习特定模式类型的能力，同时揭示不同架构方法之间的比较优势。此外，该框架还通过在干净的合成信号中注入渐进噪声和不同类型的异常来实现全面的弹性评估，并利用合成数据生成来为每种模式类型建立理论性能边界（最优解），从而能够将模型预测与数学最优解直接进行比较，为分析性能差距和改进潜力提供参考点。SynTSBench is a synthetic data-driven evaluation framework for assessing time series forecasting models. This framework aims to systematically evaluate the core modeling capabilities of such models via programmable feature configuration. It constructs synthetic datasets integrating four key temporal features—trend, seasonality, short-term/long-term dependencies, and multivariate correlations—alongside complex datasets derived from traditional stochastic time series and signal processing models, to emulate real-world scenarios. This approach enables systematic assessment of models' capacity to learn specific pattern categories, while revealing the comparative strengths of different architectural methodologies. Furthermore, the framework enables comprehensive robustness evaluation by injecting progressive noise and diverse anomalies into clean synthetic signals. It also leverages synthetic data generation to establish theoretical performance bounds (optimal solutions) for each pattern category, allowing direct comparison between model predictions and the mathematically optimal solutions, thus providing reference points for analyzing performance gaps and potential improvement areas.

搜集汇总

数据集介绍

构建方式

在时间序列预测领域，SynTSBench采用了一种创新的合成数据驱动评估范式。该数据集通过可编程特征配置系统构建，涵盖了趋势函数、周期性模式、噪声干扰、异常注入、依赖关系建模以及复杂现实场景模拟等多个维度。具体而言，数据集基于传统随机时间序列和信号处理模型，设计了11种趋势函数和10种周期性模式，并引入了高斯噪声、拉普拉斯噪声、t分布等多种噪声类型，以及点异常、脉冲异常、均值漂移和趋势漂移等异常场景，从而实现了对时间序列核心特征的系统性解耦与隔离。

特点

SynTSBench数据集展现出三大核心特点：首先，其具备理论性能边界可计算性，通过合成数据生成机制为每种模式类型建立了数学最优解，使得模型预测能够与理论最优值进行直接对比；其次，数据集实现了特征隔离与能力映射，能够量化模型在特定时间序列模式下的学习能力，揭示不同架构方法的比较优势；第三，数据集提供了多维度的鲁棒性评估框架，通过渐进式噪声注入和不同类型异常的控制性修改，全面评估模型的噪声容忍阈值和异常恢复能力。

使用方法

该数据集的使用遵循标准化的评估流程。研究者在实验设置中采用单一滑动窗口协议，输入长度为96，预测视野涵盖{10,24,48,96,192}多个尺度，深度学习模型使用7:1:2的训练/验证/测试分割比例，传统方法采用8:2的分割策略。数据集通过专门的数据加载器进行预处理，支持对时间序列进行趋势、季节性、滞后效应等特征分解，并提供了系统化评估框架，包括理论性能边界计算、噪声异常鲁棒性分析、短长期依赖关系建模以及跨变量学习能力测试等多个评估维度。

背景与挑战

背景概述

时间序列预测作为复杂决策支持系统的核心技术，在金融市场趋势分析、能源系统调度优化及气候模式预测等领域具有重要应用价值。SynTSBench数据集由清华大学深圳国际研究生院泛在数据使能重点实验室团队于2025年提出，旨在解决深度学习模型在时间序列预测中存在的黑箱特性和评估框架局限性问题。该数据集通过构建可编程特征配置的合成数据驱动评估范式，系统化分解时间序列的时序特征、噪声容忍度与理论最优边界三大核心维度，为模型能力评估建立了可解释的数学基础。

当前挑战

该数据集致力于解决时间序列预测领域模型能力评估的系统性挑战：其一，传统评估框架难以有效隔离交织的时序成分（如趋势、周期性、长短程依赖等），导致无法精准评估模型对特定模式的捕捉能力；其二，观测数据缺乏理论性能边界，使得模型优化过程缺乏明确的数学参照。在构建过程中，需克服多维度时序特征的参数化建模难题，包括设计涵盖11种趋势函数与10类周期模式的数学表达，实现从单变量基础组件到多变量复杂系统的可控生成，并建立噪声注入与异常模拟的量化评估体系。

常用场景

经典使用场景

在时间序列预测研究领域，SynTSBench作为合成数据驱动的评估框架，其经典使用场景在于系统化评估深度学习模型对各类时序模式的学习能力。该框架通过可编程特征配置生成包含趋势、季节性、长短程依赖等基本时序特征的合成数据集，使研究者能够精确量化模型在特定模式类型上的学习效果。实验设计采用滑动窗口协议，输入长度为96个时间点，预测范围涵盖多个尺度，为模型性能评估提供了标准化测试环境。

衍生相关工作

基于SynTSBench的评估范式，研究者开发了多项创新性工作。时序模式解耦分析启发了新型混合架构的设计，将专门处理趋势的MLP模块与擅长周期检测的注意力机制相结合；理论性能边界的建立推动了模型泛化能力的形式化分析，衍生出基于信息论的预测不确定性量化方法；多变量关系评估框架则促进了跨通道信息融合技术的革新，涌现出多组专门针对复杂系统相互依赖关系建模的新型神经网络结构。

数据集最近研究

最新研究方向

在时间序列预测领域，SynTSBench数据集通过构建可编程特征配置的合成数据评估范式，推动了深度学习模型时序模式学习能力的前沿研究。该框架系统解耦了趋势、季节性、长短程依赖等核心时序特征，并首次建立了理论性能边界，为模型能力评估提供了数学最优基准。当前研究聚焦于三大核心维度：基于传统随机时间序列和信号处理模型的时序特征分解与能力映射，量化模型对特定模式类型的学习能力；在数据不规则性下的鲁棒性分析，通过渐进噪声注入和异常类型控制来评估模型的噪声容忍阈值和恢复能力；以及理论最优基准测试，为每种模式类型建立性能边界。实验表明，现有深度学习模型在不同类型时序特征上并未普遍接近最优基线，凸显了模型设计中存在的固有权衡，为零样本泛化和复杂多元依赖建模等关键挑战提供了新的研究方向。

相关研究论文

• 通过

  清华大学深圳国际研究生院 · 2025年