合成时间序列数据集

合成时间序列数据集是由摩根大通AI研究团队开发，用于评估大型语言模型在时间序列理解能力上的表现。该数据集包含9个子集，每个子集有200个时间序列样本，总共有1800个样本。每个样本的时间序列长度随机选择在30到150之间，以模拟不同长度的真实时间序列数据。数据集涵盖了多种时间序列特征，如趋势、季节性、波动性等，旨在为评估模型对时间序列特征的检测和分类能力提供一个全面的基准。该数据集的应用领域广泛，包括但不限于金融、医疗、气候和能源等，旨在解决时间序列分析中的自动化和精确性问题。

This synthetic time series dataset was developed by the JPMorgan Chase AI Research team to evaluate the performance of large language models (LLMs) on time series understanding tasks. The dataset consists of 9 subsets, each containing 200 time series samples, resulting in a total of 1800 samples across all subsets. The length of the time series for each sample is randomly selected between 30 and 150, aiming to simulate real-world time series data with varying lengths. The dataset covers a variety of time series characteristics, including trends, seasonality, volatility, and others, aiming to provide a comprehensive benchmark for evaluating models' ability to detect and classify time series features. This dataset has a wide range of application scenarios, including but not limited to finance, healthcare, climate, energy and other fields, and is designed to address the issues of automation and accuracy in time series analysis.

搜集汇总

数据集介绍

构建方式

时间序列数据在医疗、金融、气候等众多领域中扮演着至关重要的角色，而大语言模型（LLMs）的兴起为自动化分析此类数据带来了新的可能。然而，LLMs对时序特征的理解能力尚未得到系统性评估。为此，研究者基于一套全面的时序特征分类体系，构建了合成时间序列数据集。该分类体系涵盖单变量与多变量时间序列的核心特征，包括趋势、季节性、波动性、异常点、结构性突变、统计属性以及变量间的相关性与动态条件相关性等。在此基础上，研究团队针对每一特征类别生成了9个独立的数据集，每个数据集包含200个样本，时间序列长度在30至150个时间点之间随机选取，并添加了以日频为主的时间索引以增强真实感。生成过程严格控制参数随机性，例如趋势的斜率与截距、季节性的振幅与周期、异常点的位置与幅度等，从而确保数据集的多样性与代表性。

特点

该合成数据集的核心特点在于其系统性与可解释性。首先，它基于严格定义的特征分类体系构建，使得每个样本都明确对应一种或多种时序特征，为LLMs的能力评估提供了清晰的标签基准。其次，数据集在长度、特征强度与组合方式上具有高度多样性，覆盖了从简单线性趋势到复杂多季节模式、从恒定波动到聚集性杠杆效应的广泛场景。此外，数据集还包含多变量样本，专门考察模型对序列间相关性与滞后关系的理解能力。这种结构化设计使得研究者能够精准定位LLMs在特定特征上的优势与不足，例如在趋势检测上表现优异，而在结构性突变与波动性分类上则普遍困难。同时，数据集的合成性避免了真实数据中常见的噪声与混杂因素，从而确保了评估的纯净性与可重复性。

使用方法

该数据集的使用方法围绕一套标准化的评估框架展开，旨在系统测量LLMs在时序理解上的表现。具体而言，研究者设计了四个核心任务：特征检测（判断特定特征如趋势是否存在）、特征分类（在检测到特征后进一步区分其子类型，如上扬或下降趋势）、信息检索（根据给定日期精确提取对应数值）以及算术推理（识别时间序列中的最大值、最小值等）。每个任务均采用精心设计的提示模板，例如在检测与分类任务中采用两轮自适应提示，先以是非题确认特征存在，再以选择题细化类别；在检索与推理任务中则要求模型以字典格式返回精确数值与日期。此外，评估还深入探讨了数据格式（如CSV、JSON、符号标注）、时间序列长度及查询点位置等外部因素对性能的影响，从而全面揭示LLMs在时序理解中的敏感性与局限性。

背景与挑战

背景概述

时间序列分析在医疗、金融、气候等众多领域扮演着举足轻重的角色，其自动化分析需求日益迫切。大型语言模型（LLMs）的蓬勃发展为其与时间序列分析的融合带来了崭新契机。然而，现有研究多聚焦于特定领域的微调，缺乏对通用LLMs在时间序列理解方面固有能力的系统性评估。为此，J.P. Morgan人工智能研究团队于2024年提出了一项开创性工作，他们构建了一套全面的时间序列特征分类体系，并基于此精心合成了一组多样化时间序列数据集。该数据集旨在作为评估LLMs时间序列理解能力的基石，其影响力辐射至特征检测、分类、信息检索及算术推理等多个关键任务，为后续研究奠定了坚实的基准。

当前挑战

该数据集所面临的挑战主要源于两方面。其一，从领域问题来看，通用LLMs在理解时间序列的复杂特征时存在显著局限，例如在结构突变、波动性及统计特性（如厚尾、平稳性）的检测与分类任务中表现欠佳，且多变量时间序列分析能力有待提升。其二，在数据集构建过程中，挑战不容小觑：如何确保合成数据真实反映现实世界时间序列的多样性，如何设计涵盖趋势、季节性与异常等特征的全面分类体系，以及如何消除数据格式、查询点位置和序列长度等因素对LLMs性能的干扰，均是构建过程中必须攻克的技术难关。

常用场景

经典使用场景

合成时间序列数据集在时间序列特征理解的研究中扮演着基石角色，其经典使用场景在于系统评估大型语言模型对时间序列数据中各类特征的识别与分类能力。该数据集基于一个全面的时间序列特征分类体系构建，涵盖了趋势、季节性、波动性、异常值、结构突变、统计属性等单变量特征，以及相关性、互相关、动态条件相关等多变量特征。研究人员利用该数据集设计了一系列标准化任务，包括特征检测、特征分类、信息检索和算术推理，从而量化模型在不同复杂度下的表现。这一场景为跨领域的时间序列分析提供了可复现的评估基准，尤其适用于检验通用大语言模型在无需领域微调的前提下对时间序列本质属性的理解水平。

衍生相关工作

该数据集衍生了一系列经典工作，推动了时间序列与大语言模型交叉领域的发展。基于其分类体系，研究者提出了多种提示优化策略，例如通过符号增强格式提升趋势分类准确率，或利用结构化文本格式改善信息检索性能。此外，该数据集启发了一系列关于位置偏差和序列长度影响的研究，揭示了模型在长序列和复杂数据中的注意力稀释问题。相关衍生工作还包括将评估框架扩展到多模态数据融合，探索如何结合文本、表格与时间序列信息以增强模型理解能力。这些工作不仅深化了对大语言模型内在局限性的认识，还为开发更鲁棒、更可解释的时间序列分析模型奠定了方法论基础。

数据集最近研究

最新研究方向

在时间序列分析领域，大语言模型（LLMs）的融合正成为前沿热点，尤其在金融、医疗和气候等关键领域展现出自动化分析的巨大潜力。最新研究通过构建全面的时间序列特征分类体系，系统合成覆盖趋势、季节性、异常点及多元相关性的多样化数据集，为评估LLMs的时序理解能力奠定了坚实基准。该工作揭示了GPT-4在特征检测与算术推理中的卓越表现，同时暴露了模型在结构性突变识别、数据格式化敏感度及长序列位置偏差等方面的显著局限。这一系统性评估不仅为跨领域实践者提供了LLMs适用性的清晰图谱，更推动了可解释时序分析、多模态数据融合等方向的技术突破，对实现智能化时序决策具有里程碑意义。

相关研究论文

• Evaluating Large Language Models on Time Series Feature Understanding: A Comprehensive Taxonomy and Benchmark

  摩根大通AI研究 · 2024年