XTSC-Bench

XTSC-Bench是由FZI Research Center for Information Technology创建的数据集，专注于时间序列分类的解释性评估。该数据集包含120个合成数据集，分为单变量和多变量两种类型，每个数据集包含50个时间步长。数据集通过模拟不同的时序过程和信息特征生成，旨在为评估解释方法提供标准化的数据基础。XTSC-Bench的应用领域主要集中在提高时间序列分类模型的解释性和可靠性，特别是在处理复杂的多元时间序列数据时。XTSC-Bench is a dataset created by the FZI Research Center for Information Technology, focusing on interpretable evaluation for time series classification. It consists of 120 synthetic datasets, categorized into univariate and multivariate types, with each containing 50 time steps. Generated by simulating various temporal processes and informative features, this dataset aims to provide a standardized data basis for evaluating interpretability methods. The application scenarios of XTSC-Bench mainly center on enhancing the interpretability and reliability of time series classification models, particularly when handling complex multivariate time series data.

搜集汇总

数据集介绍

构建方式

XTSC-Bench的构建基于对时间序列分类可解释性评估标准缺失的深刻洞察。研究团队系统梳理了现有可解释性方法在时间序列领域的应用困境，发现传统图像、表格数据的评估指标难以直接迁移。为此，他们从三个维度构建基准：首先，基于六种时间序列生成过程（如高斯过程、自回归模型等）创建了60个单变量和60个多变量合成数据集，通过添加不同形态的信息特征（如稀有特征、移动特征等）模拟真实场景；其次，为每个合成数据集训练了高精度的卷积神经网络和长短期记忆网络分类器；最后，整合了基于梯度、扰动和实例的11种可解释性方法，并封装了统一评估接口。

特点

该数据集最显著的特点在于其系统性和标准化。它提供了包含已知真实标签的合成数据，使得可靠性、忠实度、鲁棒性和复杂度这四类评估指标得以精确量化。与以往研究不同，XTSC-Bench专门针对时间序列数据的时序依赖特性进行了适配，例如在忠实度评估中采用生成过程采样而非传统零值或均值作为基准，避免了信息污染。此外，数据集覆盖了从简单到复杂的多种信息特征形态，从覆盖超过30%时间步的箱型特征到不足5%的稀有特征，全面考验可解释性方法在不同难度下的表现。

使用方法

使用者可通过XTSC-Bench与TSInterpret框架的无缝衔接，便捷地评估自定义可解释性方法。具体操作包括：加载预训练的合成数据分类器或用户自有模型，调用evaluate或evaluate_synthetic接口，即可对可解释性方法在复杂度、可靠性、忠实度和鲁棒性四个维度进行标准化测评。对于非合成数据，系统支持用户自定义基准值；对于基于实例的方法，通过计算输入与反事实的差异分数实现评估兼容。最终输出的量化结果可直接用于不同可解释性方法的横向对比与性能诊断。

背景与挑战

背景概述

在可解释机器学习领域，时间序列分类（TSC）因其数据特有的时序依赖性和高维特征，长期缺乏系统性的解释方法评估标准。针对这一空白，由德国FZI信息技术研究中心与罗伊特林根大学的研究人员于2023年联合提出了XTSC-Bench基准测试工具。该数据集的核心研究问题在于如何定量衡量梯度、扰动及示例等不同类型解释方法在TSC任务中的可靠性、保真度、鲁棒性与复杂度。通过提供60组单变量与60组多变量合成时间序列及其预训练模型，XTSC-Bench为解释性人工智能（XAI）在时间序列领域的标准化评估奠定了重要基石，显著推动了该子领域从定性分析向定量比较的范式转变。

当前挑战

XTSC-Bench所应对的核心挑战包括：首先，传统解释性评估指标（如图像领域的像素替换）无法直接迁移至时间序列数据，因零值或均值替换可能蕴含潜在信息，导致评估失真。其次，现有文献中对时序特定度量标准的定义与实现差异显著，缺乏统一接口与基线参照，使得不同解释方法间的比较困难重重。此外，构建过程中面临的关键难题在于如何生成具有明确可解释性标注的合成数据，以模拟从异常检测到移动特征等多样化场景，并确保预训练模型具备90%以上的高精度，从而保障评估结果的有效性与可靠性。

常用场景

经典使用场景

在时间序列分类（TSC）领域，随着深度学习模型在医疗健康、预测性维护等关键场景中的广泛应用，对模型可解释性的需求日益迫切。然而，由于时间序列数据具有时序依赖性和高维特征，传统的可解释性方法难以直接迁移。XTSC-Bench作为首个专门针对时间序列分类解释器的标准化基准工具，提供了包含合成数据集、预训练模型和统一度量接口的评估框架。其最经典的使用场景是对不同解释方法（如基于梯度、扰动和示例的方法）进行系统性、可复现的定量比较，从而为研究人员选择或开发更优的解释器提供客观依据。

实际应用

在实际应用中，XTSC-Bench可服务于对模型解释质量有高要求的工业与医疗场景。例如，在预测性维护中，工程师需确认模型对传感器异常信号的归因是否准确；在医疗诊断中，临床医生依赖解释器定位心电图中关键的病理波形。通过XTSC-Bench，用户能够快速筛选出在特定数据集上表现最优的解释方法，降低因解释不可靠导致的决策风险。此外，其兼容TSInterpret框架的设计，使得从模型训练到解释评估的流水线更加高效，加速了可解释人工智能在时序任务中的落地。

衍生相关工作

XTSC-Bench的提出催生了一系列衍生工作，推动了时间序列可解释性评估的体系化发展。例如，TSInterpret框架作为其底层解释器库，提供了统一的接口实现多种解释方法；基于该基准，研究者进一步探索了时序扰动基线的优化策略（如均匀基线替代生成基线），并验证了不同分类器（CNN与LSTM）对解释器性能的影响。此外，针对多元时间序列中解释器可靠性下降的问题，后续工作如TSEvo和Native Guide在XTSC-Bench的评估框架下被重新审视，促进了更鲁棒的解释算法设计。这些工作共同构建了一个良性循环，使XTSC-Bench成为该领域不可或缺的评估基石。