故障诊断问答指令数据集

该数据集是由华南理工大学智能工程系构建的大规模多模态指令数据集，包含振动时频图像-文本标签对和人类指令-真实标签对。数据集用于大型视觉语言模型(LVLM)的指令微调，目的是提高模型在生成高质量故障诊断报告方面的能力。数据集整合了不同模态的数据，如声学、振动和自然语言，旨在为机械健康管理提供更全面的视角，解决机械系统中的故障诊断问题。

This large-scale multimodal instruction dataset was developed by the Department of Intelligent Engineering, South China University of Technology. It contains two types of paired data: vibration time-frequency image-text label pairs and human instruction-ground truth label pairs. This dataset is intended for instruction tuning of large vision-language models (LVLM), with the goal of improving the models' ability to generate high-quality fault diagnosis reports. By integrating multi-modal data including acoustic, vibration and natural language data, the dataset aims to provide a more comprehensive perspective for mechanical health management and address fault diagnosis issues in mechanical systems.

搜集汇总

数据集介绍

构建方式

故障诊断问答指令数据集的构建方式是通过收集工业设备振动信号的时间-频率图像、人类指令以及配对的诊断报告。这些数据被用于指令调整大规模视觉语言模型（LVLM）。为了提高生成高质量故障诊断报告的能力，研究者设计了一个多尺度跨模态图像解码器，用于提取细粒度的故障语义。此外，他们还进行了指令调整，但没有向LVLM中引入额外的训练参数。

特点

故障诊断问答指令数据集的特点在于它包含了振动时频图像-文本标签对和人类指令-真实情况对。这些数据使得模型能够直接从原始振动信号中生成故障诊断报告，而无需进行传统的分类或回归。该数据集的构建旨在让模型能够分析工业设备故障信号，识别故障类型、评估严重程度，并精确地定位故障区域。

使用方法

使用故障诊断问答指令数据集的方法包括以下几个步骤：首先，将振动信号转换为时频图像。然后，使用视觉编码器对时频图像进行编码，并将视觉特征投影到与语言模型兼容的嵌入空间。接下来，多尺度跨模态图像解码器（MCID）被用来提取更详细的故障特征，尤其是关注局部故障信息。最后，提示学习器将MCID提取的细粒度故障语义与可学习的基提示嵌入相结合，使模型能够生成更准确和上下文相关的故障描述。

背景与挑战

背景概述

在工业故障诊断领域，传统的深度学习方法往往依赖于特定任务和数据的训练，限制了其在动态工业环境中的泛化能力。为了解决这一问题，基于大型语言模型（LLMs）的时间序列模型被引入，结合预训练知识和特定领域数据的微调，展现出更大的适应性和灵活性。然而，这些方法在利用多模态数据方面的潜力尚未得到充分利用。特别是在复杂的机械系统中，单一数据源往往无法全面捕捉故障信息。因此，本研究提出了FaultGPT，一个基于大型视觉语言模型（LVLM）的新型模型，直接从原始振动信号生成故障诊断报告，并构建了一个大规模的故障诊断问答指令数据集，以实现对LVLM的指令微调。该数据集包括振动时频图像-文本标签对和人工指令-真实标签对。为了提高生成高质量故障诊断报告的能力，本研究设计了一个多尺度跨模态图像解码器来提取细粒度的故障语义，并进行了指令微调，而无需将额外的训练参数引入LVLM。广泛的实验验证了FaultGPT在生成故障诊断报告、少样本和零样本评估方面的卓越性能和适应性。

当前挑战

尽管FaultGPT在故障诊断领域取得了显著进展，但仍面临一些挑战。首先，现有模型主要关注全局特征对齐，难以捕捉表示故障语义的局部特征，从而在生成诊断报告时存在困难。其次，由于故障诊断数据的稀缺性，缺乏相关的基准和数据集，限制了模型训练和评估的准确性。此外，如何将FaultGPT的应用扩展到其他工业领域，如预测剩余使用寿命等，也是未来研究的重要方向。

常用场景

经典使用场景

故障诊断问答指令数据集主要用于训练和评估基于视觉语言模型的工业故障诊断问答系统。该数据集包含了振动时频图像-文本标签对以及人类指令-真实标签对，旨在让模型能够直接从原始振动信号中生成故障诊断报告。通过利用大型视觉语言模型（LVLM）和基于文本的监督，FaultGPT能够执行端到端的故障诊断问答（FDQA），从而区别于传统的分类或回归方法。

实际应用

该数据集在实际应用场景中，如工业机器人、自动驾驶、工业异常检测等领域，具有广泛的应用潜力。FaultGPT能够分析工业设备的故障信号，识别故障类型、评估故障严重程度以及定位故障区域，最终生成文本描述。此外，FaultGPT的用户界面设计友好，非专家用户也能够轻松使用该系统进行故障诊断。

衍生相关工作

基于该数据集，衍生了多项相关工作。例如，研究人员提出了基于知识图谱的问答系统（KG-MQA），该系统利用知识图谱中的结构化信息来回答用户查询，从而提高诊断的准确性。此外，研究人员还构建了大规模的旋转机械故障数据集，并在其上训练了基础诊断模型DCNDSC，该模型能够学习通用的特征表示，并在特定的故障诊断任务上进行微调，从而提高诊断的准确性和鲁棒性。