FMF-Benchmark

FMF-Benchmark是由东北大学流程工业综合自动化国家重点实验室创建的一个用于融合镁熔炼过程异常检测的跨模态数据集。该数据集包含超过2.2百万个同步采集的视频和电流数据样本，覆盖了1000多个小时的工业生产视频。数据集的创建过程涉及从不同生产批次中选择和整理数据，以确保数据的质量和多样性。该数据集主要用于开发和测试跨模态学习算法，特别是在极端干扰如电流波动和视觉遮挡情况下的异常检测，旨在提高融合镁熔炼过程的安全性和效率。

FMF-Benchmark is a cross-modal dataset for fusion-based anomaly detection in magnesium smelting processes, developed by the State Key Laboratory of Integrated Automation of Process Industry, Northeastern University. It contains over 2.2 million synchronously collected video and current data samples, covering more than 1,000 hours of industrial production video recordings. The dataset construction process involves selecting and curating data from different production batches to ensure its quality and diversity. This dataset is primarily used to develop and test cross-modal learning algorithms, especially for anomaly detection under extreme disturbances such as current fluctuations and visual occlusions, with the goal of improving the safety and efficiency of fusion-based magnesium smelting processes.

搜集汇总

数据集介绍

构建方式

在熔融镁冶炼过程监测领域，FMF-Benchmark的构建体现了工业场景下多模态数据采集与标注的系统性方法。该数据集通过工业相机与PLC控制系统同步采集视频与三相交流电流数据，利用信号发生器确保时序对齐，原始数据累计超过1000小时。为平衡类别分布，研究团队从原始数据中精心筛选出约220万样本，构建了包含像素级标注（约27万样本）与类别级标注（约197万样本）的双重标注体系。标注过程创新性地利用了异常状态的片段时序一致性特征，通过确定异常起始、峰值与结束时间点，对关键帧进行粗标注，再通过标签传播与加权中值滤波技术实现高效且精确的标注扩展与细化，显著降低了大规模工业数据标注的人力成本。

特点

FMF-Benchmark作为首个面向熔融镁冶炼过程的跨模态异常检测基准，其核心特点在于深度融合了视觉与过程变量信息。数据集包含同步采集的高分辨率视频（1440×2560）与三相电流序列，形成了跨越三维空间与一维时序的异构模态对。其规模庞大且类别均衡，正常与异常样本比例接近1:1，有效支持模型训练。尤为突出的是，数据集提供了像素级与类别级双重标注，既能支持区域定位的细粒度检测，也能满足状态分类的宏观判断。数据采集于真实工业环境，涵盖了电流高频波动、水雾视觉遮挡、火焰强光干扰等极端工况，为评估模型在复杂干扰下的鲁棒性提供了极具挑战性的测试场景。

使用方法

该数据集主要用于训练与评估跨模态学习模型在工业异常检测任务上的性能。研究者可将其划分为训练集与测试集，用于开发能够同时处理视频与电流序列的算法。典型使用流程包括：对视频数据进行时空特征提取，对电流数据进行时序分析，并通过跨模态注意力等机制探索两种模态间的内在关联。数据集支持两类任务：一是类别级异常检测，即判断样本整体属于正常或异常状态；二是像素级异常区域定位，即在视频帧中精确标识出异常发生的具体位置。评估时可采用准确率、F1分数、误检率、漏检率及平均交并比（mIoU）等指标，全面衡量模型在分类精度与定位准确性上的表现。数据集的发布旨在推动工业场景下跨模态学习的研究与应用。

背景与挑战

背景概述

在工业过程监控领域，异常检测是保障生产安全与效率的关键技术。FMF-Benchmark作为首个针对熔融镁冶炼过程的跨模态基准数据集，由东北大学柴天佑院士团队于2021年构建，旨在解决传统单模态方法在复杂工业环境中检测能力不足的问题。该数据集同步采集了超过220万样本的视频与电流数据，通过融合视觉与过程变量信息，为跨模态学习研究提供了重要基础。其核心研究问题在于探索多模态关联性以提升异常检测的鲁棒性，尤其在电流波动与水雾遮挡等极端干扰下仍能保持高精度检测，对工业智能监控系统的演进具有显著推动作用。

当前挑战

FMF-Benchmark所针对的熔融镁冶炼过程异常检测面临多重挑战：在领域问题层面，传统方法依赖单一模态数据，难以应对工业场景中视觉遮挡、光照变化与电流高频噪声交织的复杂干扰，导致检测精度受限；在数据构建层面，跨模态数据同步采集需克服硬件触发与时间对齐的技术难题，且大规模样本的标注工作耗时耗力，需设计基于时序一致性的高效标注策略以平衡质量与效率。此外，三维视频与一维电流数据间的维度鸿沟，要求模型具备跨尺度特征融合能力，这进一步增加了算法设计的复杂性。

常用场景

经典使用场景

在工业过程监控领域，FMF-Benchmark为熔融镁冶炼过程的异常检测提供了首个跨模态基准。该数据集通过同步采集的视频流与三相交流电流数据，构建了超过220万样本的异构信息库。其经典应用场景在于驱动跨模态Transformer模型（如FmFormer）进行端到端学习，通过自注意力机制挖掘各模态内部特征，并利用双向交叉注意力捕捉视频与电流间的深层关联，从而在强干扰环境下实现高精度异常识别与定位。

衍生相关工作

围绕该数据集衍生的经典工作主要包括跨模态Transformer架构的演进与优化。FmFormer作为代表性模型，引入了多尺度令牌化范式以弥合三维视频与一维电流的维度鸿沟，并采用层次化重建机制实现像素级异常定位。后续研究在此基础上拓展了自适应令牌采样、多模态联合预训练等方向，同时激发了工业异常检测领域对时序-视觉融合、噪声鲁棒性学习等关键问题的深入探索，形成了一系列基于注意力机制的跨模态分析方法。

数据集最近研究

最新研究方向

在工业过程监控领域，FMF-Benchmark作为首个针对熔融镁冶炼过程的跨模态异常检测基准，正推动着多模态学习与工业人工智能的深度融合。该数据集通过同步采集的视频与电流数据，为探索视觉与过程变量间的内在关联提供了宝贵资源，其前沿研究聚焦于跨模态Transformer架构的创新，如FmFormer模型通过多尺度标记化机制与双向交叉注意力，有效弥合了三维视频与一维电流数据间的维度鸿沟，实现了在强干扰环境下的高精度异常定位与分类。这一方向不仅提升了复杂工业场景中异常检测的鲁棒性，也为其他多模态工业应用提供了可迁移的方法论框架，具有显著的工程实践价值与学术引领意义。

相关研究论文

• Cross-Modal Learning for Anomaly Detection in Fused Magnesium Smelting Process: Methodology and Benchmark

  东北大学流程工业综合自动化国家重点实验室 · 2024年