cps-robustness-benchmark

cps-robustness-benchmark是由汉堡赫尔穆特·施密特大学人工智能学院创建的一个基准测试数据集，旨在评估和比较深度学习模型在工业 cyber-physical systems (CPS) 时间序列预测任务中的鲁棒性。该数据集包含了多个真实世界CPS场景的时间序列数据，并针对不同的深度学习架构进行了鲁棒性测试。数据集通过模拟现实世界中的扰动，如传感器漂移、噪声和 irregular sampling 等，来评估模型在遭遇错误或不可预见输入时的性能。

The CPS-Robustness-Benchmark is a benchmark dataset developed by the Faculty of Artificial Intelligence at Helmut Schmidt University Hamburg. It is designed to evaluate and compare the robustness of deep learning models for industrial cyber-physical systems (CPS) time series forecasting tasks. This dataset contains time-series data from multiple real-world CPS scenarios, and is employed to perform robustness tests on various deep learning architectures. Specifically, it simulates real-world perturbations including sensor drift, noise, and irregular sampling to assess model performance when confronted with erroneous or unforeseen inputs.

原始信息汇总

AI Robustness Benchmark for Cyber-Physical Systems 数据集概述

数据集基本信息

• 名称: AI Robustness Benchmark for Cyber-Physical Systems
• 状态: 开发中（work in progress）

数据集结构

• 数据目录: data/processed（存储最终的规范化数据集）
• 其他相关目录:
  • logs: 存储训练和序列化的模型、模型预测或模型摘要
  • models: 存储所有模型的Lightning模块
  • notebooks: 存储Jupyter笔记本
  • visualizations: 存储生成的图形和报告用图

数据生成与处理

• 数据生成: 通过运行notebooks/1-generate-data.ipynb生成数据，并提供数据集的可视化分析

依赖与环境

• Python版本: 3.11
• 主要依赖:
  • PyTorch（需指定CUDA版本，例如11.3）
  • 通过environment.yml配置环境

容器化支持

• Docker镜像构建: sh docker build . --platform=linux/amd64 -t gitlab.kiss.space.unibw-hamburg.de:4567/kiss/robust-ai-validation:v31

• 镜像推送: sh docker push gitlab.kiss.space.unibw-hamburg.de:4567/kiss/robust-ai-validation:v31 --tls-varify=false

搜集汇总

数据集介绍

构建方式

该数据集构建于工业信息物理系统（CPS）的时间序列预测场景，通过系统化框架模拟真实环境中的传感器漂移、噪声干扰及非均匀采样等扰动因素。研究团队采用分布鲁棒性理论，将标准化测试集按70%-15%-15%比例划分为训练、验证和测试子集，并引入1%的清洗间隙防止数据泄露。针对10%的传感器施加10类渐进式扰动（如信号衰减、离散值错误等），通过积分相对性能指标量化模型鲁棒性得分。

特点

数据集涵盖电力消耗、水处理系统等6个真实工业场景的多元时间序列数据，具有显著的周期性和非平稳特性。其核心特征在于构建了系统性扰动评估体系，包含连续信号的高斯噪声和离散信号的振荡扰动等10种场景，每种扰动设置0-1可调强度参数。通过标准化处理使不同数据集的扰动效果可比，且严格区分训练与测试时段以避免前瞻偏差，为模型鲁棒性研究提供高保真实验环境。

使用方法

使用该基准时需将模型封装为符合Python接口规范的预测器，加载标准化后的CSV或Parquet格式数据。框架自动执行训练-验证-测试流程，期间注入渐进式扰动并计算MSE相对性能比。最终输出包含基础预测精度和综合鲁棒性得分两个维度，支持LSTM、Transformer等9类架构的横向对比。用户可通过调整扰动类型组合或强度梯度，开展特定工业场景的敏感性分析。

背景与挑战

背景概述

由德国汉堡Helmut Schmidt大学人工智能研究所的Alexander Windmann等人于2025年提出的CPS-Robustness-Benchmark数据集，旨在解决工业信息物理系统（CPS）中深度学习预测模型的鲁棒性评估问题。该数据集聚焦制造、能源等领域的复杂时间序列数据，针对现有评估方法过度依赖形式化验证或对抗性扰动的局限，创新性地提出基于分布鲁棒性的实用性定义。通过模拟传感器漂移、噪声干扰等真实场景扰动，该数据集为LSTM、Transformer等主流架构提供了标准化评估框架，其提出的鲁棒性量化指标显著推进了CPS领域可信AI系统的构建进程。

当前挑战

该数据集面临双重挑战：在领域问题层面，需解决工业CPS环境中多源干扰（如传感器失效、非均匀采样）导致的预测模型性能退化问题，现有方法难以量化真实扰动下的模型稳定性；在构建过程中，需平衡扰动场景的仿真真实性（如动态漂移建模）与评估标准的普适性，同时处理工业数据的高维度、非平稳特性对基准测试带来的复杂度激增问题。此外，不同时间序列模型（循环网络/注意力机制）对特定扰动的敏感性差异，也增加了跨架构可比性评估的设计难度。

常用场景

经典使用场景

在工业信息物理系统（CPS）领域，时间序列预测是确保系统健康管理（PHM）的关键任务。cps-robustness-benchmark数据集通过模拟传感器漂移、噪声和不规则采样等现实扰动，为深度学习模型提供了一个全面的鲁棒性评估平台。该数据集广泛应用于评估循环神经网络（如LSTM、GRU）、注意力机制模型（如Transformer）以及卷积神经网络（如TCN）在复杂工业环境中的预测性能和稳定性。

解决学术问题

该数据集解决了工业CPS中深度学习模型鲁棒性评估的标准化问题。传统的对抗性扰动和形式化验证方法难以反映真实工业场景中的复杂扰动，而cps-robustness-benchmark通过定义基于分布鲁棒性的实用指标，量化了模型在多种现实扰动下的性能退化。这一框架为模型选择和架构设计提供了科学依据，填补了理论与实际应用之间的鸿沟。

衍生相关工作

围绕该数据集衍生的经典工作包括对模块化架构（如RIMs）和结构化状态空间模型（如Mamba）的鲁棒性分析。相关研究进一步探索了扰动训练（如对抗训练增强）和多数据集交叉验证方法，以提升模型泛化能力。此外，该框架启发了工业界开发结合物理知识的混合模型，推动了鲁棒性研究与实际部署的深度融合。