Deep4ge

Deep4ge是由达尔豪斯大学创建的一个深度神经网络训练轨迹基准数据集，旨在支持训练时故障检测与诊断研究。该数据集包含14,227个训练运行记录，涵盖9,845个故障运行和4,382个正确基线运行，总计719,560个epoch记录，数据来源于59个从Stack Overflow收集并适配的TensorFlow/Keras程序。数据集通过27种源代码变异算子注入七类已知故障，并在每个epoch记录4个评估指标和26个动态特征，包括权重、梯度、激活值等训练行为指标。该数据集主要应用于深度学习系统可靠性领域，用于解决训练过程中隐性故障的早期检测、多类别故障诊断以及部分训练轨迹的故障预测问题。Deep4ge is a benchmark dataset for deep neural network (DNN) training trajectories developed by Dalhousie University, aimed at supporting research on fault detection and diagnosis during model training. The dataset includes 14,227 training runs, consisting of 9,845 faulty runs and 4,382 correct baseline runs, with a total of 719,560 epoch records. The data is sourced from 59 TensorFlow/Keras programs collected and adapted from Stack Overflow. Seven categories of known faults are injected into the dataset via 27 source code mutation operators, and 4 evaluation metrics and 26 dynamic features are recorded at each epoch, including training behavior indicators such as weights, gradients, and activation values. This dataset is primarily applied in the field of deep learning system reliability, and is used to address problems including early detection of latent faults during training, multi-class fault diagnosis, and fault prediction for partial training trajectories.

原始信息汇总

数据集概述：Deep4ge

基本信息

• 名称：Deep4ge: A Dataset for Fault Detection and Diagnosis in Deep Neural Networks
• 版本：v1.0.0（发布于2026年5月22日）
• 资源类型：Software（软件）
• 发布机构：Zenodo
• DOI：10.5281/zenodo.20337241（此DOI代表所有版本），本版本DOI为10.5281/zenodo.20337242

描述

该数据集是Deep4ge的首个发布版本，用于深度神经网络中的故障检测与诊断（fault detection and diagnosis）。

关键词

deep learning、mutation testing、dataset、software testing、fault diagnosis

文件与大小

• 文件名：SigmaJahan/deep4ge-v1.0.0.zip
• 文件大小：68.6 MB
• 校验值：md5:73aacbe5c660d86eed81d6eab6d05428

使用与引用

• 使用该数据集时，请引用此数据集及其对应的仓库。
• 建议引用格式（APA风格）： Jahan, S. (2026). Deep4ge: A Dataset for Fault Detection and Diagnosis in Deep Neural Networks (Version v1.0.0) [Computer software]. Zenodo. https://doi.org/10.5281/zenodo.20337242

相关资源

• 补充软件：https://github.com/SigmaJahan/deep4ge/tree/v1.0.0
• 源代码库：https://github.com/SigmaJahan/deep4ge
• 归档于：Software Heritage，标识符 swh:1:dir:8a806dd65c5d767c2a6e0fc014c5c48e9f269a49
• 索引于：OpenAIRE

许可协议

• Creative Commons Attribution 4.0 International（CC BY 4.0）

统计数据（截至页面显示）

• 总浏览量：42次（所有版本与本版本相同）
• 总下载量：11次（所有版本与本版本相同）
• 总数据量：754.9 MB（所有版本与本版本相同）

搜集汇总

数据集介绍

构建方式

深度学习系统的训练行为常因细微的代码错误而发生异常，但现有基准缺乏系统记录训练轨迹与故障标签的公共数据集。为解决这一空白，Deep4ge从Stack Overflow平台收集了59个TensorFlow/Keras深度神经网络程序，并对其进行适配以确保确定性执行。进而，基于DeepCrime的算子并补充了层级别变异算子，构建了涵盖七类故障的27种源码级变异操作。对每个原始程序及其变体进行多次重复训练，并记录每一轮次的四个评估指标与26个训练动态特征，包括权重、梯度、激活值、准确率与损失趋势、学习率及硬件使用。最终经过统计显著性检验与中等效应量筛选，获得14,227条训练运行记录，其中9,845条为故障运行，4,382条为正确基线。

使用方法

Deep4ge支持三项核心任务：二元故障检测、七类别故障诊断以及早期故障预测。检测任务可将逐轮次特征汇总为六个统计量（均值、标准差、最小、最大、末值、线性趋势），形成180维轨迹特征；诊断任务则基于这些特征训练多分类模型。实验表明，轨迹特征相比仅用末轮特征，在随机森林模型上检测马修斯相关系数从0.150提升至0.227，诊断宏F1从0.355提升至0.381。数据集还支持跨架构迁移学习与单轮次早期检测研究，其公开的故障注入框架允许研究者扩展新的变异算子或网络架构，实现基准的再生与演进。

背景与挑战

背景概述

Deep4ge数据集由加拿大达尔豪西大学的Sigma Jahan于2026年创建，旨在解决深度学习系统在训练过程中因实现错误导致的静默故障问题。随着深度神经网络（DNN）组件被广泛集成到软件系统中，训练过程中的故障日益成为关键挑战。与传统软件错误不同，DNN故障常表现为优化不稳定、梯度消失或爆炸以及泛化能力下降等隐蔽症状，这使得调试工作无法仅依赖源代码检查或最终输出，而必须观察训练过程的演化轨迹。Deep4ge基于从Stack Overflow收集的59个TensorFlow/Keras程序，通过应用27种源级变异算子生成14,227次训练运行（包含9,845次故障运行和4,382次正确基线运行），为研究训练时故障提供了首个公开的受控基准。该数据集在软件工程领域产生了重要影响，支持故障检测、多类诊断以及早期故障预测等任务。

当前挑战

Deep4ge数据集着力应对的核心挑战在于深度学习系统训练阶段故障的隐蔽性与动态性。传统故障检测方法无法捕捉此类在训练过程中悄然显现的症状，而现有研究多依赖有限程序或特定注入故障进行评估，缺乏可复用的基准数据集。Deep4ge解决的领域问题包括：从训练轨迹中区分故障与正确运行、对七类故障（超参数、损失函数、权重初始化、层配置、优化器、激活函数、正则化）进行多类别诊断，以及利用部分训练数据实现早期预测。构建过程中面临的挑战包括：确保程序可确定性运行以消除非随机变异、设计覆盖广泛真实故障模式的27个变异算子、验证突变体是否被有效“杀死”（即与原程序存在统计显著差异），以及在不同架构（前馈、卷积、循环神经网络）间保持特征一致性。此外，数据集依赖Stack Overflow的开源代码，可能无法反映工业级开发实践，且硬件相关特征受运行环境影响，制约了结果的泛化性。

常用场景

经典使用场景

在深度学习系统的可靠性验证领域，Deep4ge数据集的核心价值在于其提供了涵盖七类故障的14,227次逐时期训练轨迹记录。该数据集以TensorFlow/Keras框架下的前馈、卷积和循环神经网络为基底，通过27种源级变异算子注入典型训练故障，捕获了权重变化、梯度分布、激活函数状态、准确率与损失趋势等26维动态特征。研究者可借助该数据集开展故障的二元检测任务，即区分训练运行是否异常，亦可进行七类多分类故障诊断，甚至基于部分训练周期实现早期故障预测，为理解深度学习训练过程中的隐性故障行为提供了系统化的基准测试平台。

解决学术问题

Deep4ge有效破解了深度学习软件工程领域长期面临的关键瓶颈——缺乏可复用的、带有故障标注的逐时期训练行为数据集。在此之前，针对训练阶段故障检测与诊断的研究多限于少量程序或特定注入故障，且训练记录往往未以标准化形式公开，阻碍了不同方法间的横向对比与系统复现。该数据集的提出使得学术界得以在统一基准上评估各类检测与诊断算法，例如探究全轨迹特征相较于仅使用最终时期特征在宏F1分数和马修斯相关系数上的显著优势，以及分析不同架构间的故障检测迁移能力，从而推动该领域从碎片化个案研究走向可控、可复现的体系化研究。

实际应用

在实际工业环境中，深度学习模型的训练故障往往以隐晦方式显现，例如优化过程不稳定、梯度消失或爆炸、泛化性能下降等，传统基于源代码或最终输出的调试手段难以奏效。Deep4ge所记录的逐时期动态特征为构建自动化故障监控与诊断工具提供了坚实的数据基础。开发团队可基于该数据集训练轻量级分类器，在模型训练过程中实时捕获异常特征模式并预警，甚至在不中断训练的情况下定位故障类型，例如区分学习率设置不当、损失函数选择错误或权重初始化缺陷等。这种能力对于保障生产环境中持续训练的模型质量、缩短调试周期具有重要的工程实践价值。

数据集最近研究

最新研究方向

深度学习系统在训练过程中常因微妙的实现缺陷而改变训练行为，如何从逐代训练轨迹中检测与诊断此类故障已成为软件工程领域的前沿议题。Deep4ge数据集应运而生，它包含14,227条训练运行记录，涵盖59个来自Stack Overflow的TensorFlow/Keras深度神经网络程序，通过27种源码变换注入七类已知故障，并提取26维逐代动态特征。该数据集支持二分类故障检测、多分类故障诊断以及基于部分训练轨迹的早期预测。实验表明，基于全训练轨迹的随机森林模型在故障检测中马修斯相关系数达到0.227，显著优于仅使用最终代特征的方法。Deep4ge填补了公开可复用的逐代训练轨迹基准的空白，为深度学习故障的自动化诊断与跨架构迁移研究提供了坚实基础。

相关研究论文

• Deep4ge: DNN Training Trajectories for Fault Detection and Diagnosis

  达尔豪斯大学 · 2026年