Shadow

Shadow是由蚂蚁集团精心构建的综合性基准数据集，旨在为时间序列预测研究提供贴近现实的评估场景。该数据集融合了开源公共数据集的自然缺失模式与真实工业领域数据，形成了包含多源、不规则采样序列的集合，其规模显著，数据量丰富，能够有效模拟传感器休眠、传输延迟等复杂因素导致的观测不完整性。数据集的创建过程通过整合公开数据与私有数据，并保留其固有的缺失轨迹，以构建具有挑战性的预测任务。该数据集主要应用于时间序列预测领域，特别是针对存在缺失值的场景，旨在评估模型在联合推断未来观测存在性与状态演化方面的能力，为解决现实系统中'信息是否可观测'先于'数值是多少'这一核心问题提供实证基础。Shadow is a comprehensive benchmark dataset meticulously constructed by Ant Group, designed to provide realistic evaluation scenarios for time series forecasting research. This dataset integrates the natural missing patterns from open public datasets and real industrial data, forming a collection of multi-source, irregularly sampled sequences. It boasts a substantial scale and rich data volume, which can effectively simulate observational incompleteness caused by complex factors such as sensor hibernation and transmission delays. The dataset is developed by integrating public and proprietary data while retaining their inherent missing trajectories, thereby constructing challenging forecasting tasks. This dataset is primarily applied in the field of time series forecasting, particularly for scenarios with missing values, aiming to evaluate the ability of models to jointly infer the existence of future observations and state evolution, and provide an empirical basis for solving the core problem in real-world systems where whether information is observable precedes "what the numerical value is".

原始信息汇总

数据集概述：Timeflies

核心创新：观察-状态联合建模

Timeflies 突破传统“先插补再预测”和不规则感知范式（假设未来时间戳已知），提出“观察-状态联合范式”：先推断未来观测是否会发生，仅在观测可能有效时预测其值。

方法架构

采用双流管道联合建模观测存在性与演化状态：

• 观测流：从掩码和缺失间隔中捕捉缺失模式。
• 值流：建模时序动态。

关键组件包括：

• 可靠性感知补丁嵌入（Reliability-aware Patch Embedding）
• 观测引导的注意力机制（Observation-guided Value Attention）
• 双预测头（Dual Prediction Head）：同时输出未来观测概率与数值预测，适用于真实世界不规则时间序列。

应用场景

适用于未来观测可能不存在的真实世界不规则时间序列预测任务。

相关资源

• 论文：arXiv:2606.13571
• 代码与数据集：基于 Time-Series-Library 和 PatchTST 构建。

搜集汇总

数据集介绍

构建方式

Shadow数据集的构建融合了公开数据源与真实工业场景数据，旨在模拟现实世界中缺失值的自然分布。其基础数据来自GIFT-Eval中的15个公开数据集，涵盖能源、云计算、零售等多领域，采样频率从5分钟至1周不等。此外，该数据集还纳入了16个来自实际电商平台的专有数据集，记录了不同区域的小时级交易量。专有数据集的缺失模式完全自然形成，而非人为掩蔽，因此能够真实反映如区域非高峰时段不活跃、节假日效应及管道中断等结构性缺失特征。

特点

Shadow数据集的核心特点在于其缺失模式的高度非随机性与多样性，缺失率从不足0.1%到超过89%不等，横跨6个领域和16个地理区域。这种丰富的缺失度谱系为评估模型在不同稀疏度下的鲁棒性提供了严苛的测试环境。更重要的是，数据集中的缺失并非噪声，而是蕴藏着系统行为的结构化先验信息，使得模型能够从中学习观测存在性的规律。此外，数据集按照缺失率被划分为无缺失、低缺失、中缺失和高缺失四个体系，便于进行细粒度的性能评估。

使用方法

使用Shadow数据集时，研究者需遵循其多维度评估协议。该协议主要依据预测长度（短、中、长期）和数据稀疏度（四个缺失率区间）对模型进行综合评测。评价指标方面，除了传统的MSE和MAE用于衡量数值预测精度，以及AUC用于评价观测存在性分类性能外，还特别引入了观测-值联合熵（OVJE）指标。OVJE从联合概率视角出发，综合评判模型在正确推断未来观测存在性的同时进行精准数值估计的能力，从而全面反映模型在真实不规则时间序列场景下的耦合预测表现。

背景与挑战

背景概述

在现实世界的时间序列系统中，观测数据的生成往往受传感器休眠、传输延迟和事件驱动采样等因素的影响，呈现出显著的不完整与非均匀性。针对这一长期困扰学界与工业界的难题，由蚂蚁集团胡一凡、陈泓舟、刘培源等研究人员于2026年提出了Shadow基准数据集。该数据集的核心研究问题在于打破传统时间序列预测中“未来有效观测时间戳已知”的理想化假设，重新定义预测任务为联合推断未来可观测性与状态值的耦合过程。Shadow集成了15个来自GIFT-Eval的公开数据集与16个来自真实电商平台的工业数据集，覆盖6个领域和16个地理区域，缺失率从不足0.1%到超过89%不等，为不规则时间序列预测研究提供了严苛且全面的测试平台。

当前挑战

Shadow所解决的领域核心挑战在于传统时间序列预测范式存在根本性缺陷：现有方法要么将缺失值视为需插补的缺陷，要么假设未来有效观测时间戳已知，这在现实系统中往往不成立。具体而言，预测数值之前必须首先确认该观测是否真实存在，而缺失模式本身编码了周期性传感器循环、负载驱动稀疏性等结构性先验。在构建过程中，团队面临多重挑战：原生电商数据的缺失模式高度非随机，蕴含区域非高峰活动、节假日效应和管道中断等复杂模式；不同数据集在采样频率（5分钟至1周）、缺失比例（0.1%至89%）和预测长度（短、中、长三档）上差异巨大；此外，还需设计全新的评价指标来衡量可观测性推断与数值估计的耦合能力。

常用场景

经典使用场景

在时间序列预测研究领域中，Shadow数据集专为刻画自然缺失模式下的预测挑战而设计。其核心应用场景在于评估模型在面对高度不完整与非均匀采样数据时的鲁棒性，涵盖从低缺失率到极高缺失率（最高超过89%）的广泛稀疏性范围。通过整合15个来自GIFT-Eval的公开数据集与16个记录真实电商交易流的专有数据集，Shadow为研究者提供了横跨能源、云计算、零售及空气质量等多个重要领域的多样化测试平台，从而能够系统地审视模型在不同时间粒度与缺失机制下的泛化表现。

解决学术问题

Shadow数据集的核心贡献在于突破了传统时间序列预测中对“完美预知未来有效观测时刻”这一隐性假设的依赖。它率先将预测问题重构为对未来观测存在性与未来数值演变双重任务的联合推断，揭示了缺失模式并非简单的数据噪声，而是蕴含系统运行规律的结构化先验信息。这一范式转变促使学术界重新审视现有方法在真实世界部署中的根本缺陷，即仅关注数值拟合而忽略观测行为本身的动态变化，从而为发展第三代预测框架奠定了坚实的实验与评估基础。

衍生相关工作

围绕Shadow数据集提出的联合预测范式已催生出多项具有启发意义的后续研究。其中，Timeflies框架所引入的双流架构（观测流与数值流）及可靠性感知注意力机制，为后续工作提供了可复现的技术蓝图，引发了关于如何将缺失模式编码为结构化先验的广泛探讨。此外，Observation-Value Joint Entropy（OVJE）这一联合评估指标的提出，从信息论视角重新定义了缺失感知预测的性能度量标准，促使研究者在评价模型时不再割裂地审视分类精度与回归误差，而是采纳更为统一的联合概率视角进行综合评估。