NPU-BOLT

NPU-BOLT数据集是由西北工业大学创建的，专门用于自然场景下的螺栓目标检测。该数据集包含337个样本，主要来源于自然环境中的图像，图像大小从400*400到6000*4000不等，总计约1275个螺栓目标。数据集中的图像通过手持相机和无人机捕获，旨在覆盖尽可能多的自然环境情况。数据集创建过程中，考虑了多种实际条件，如不同的光照强度、阴影遮挡、大面积腐蚀等。NPU-BOLT数据集的应用领域主要集中在工程结构的实时或及时检测松动或脱落的螺栓，这对于保持结构安全和延长服务寿命至关重要。The NPU-BOLT dataset was developed by Northwestern Polytechnical University, exclusively tailored for bolt object detection in natural scenarios. It contains 337 samples primarily collected from natural environment images, with image dimensions ranging from 400×400 to 6000×4000, and a total of roughly 1275 bolt targets. The images in this dataset were acquired via handheld cameras and unmanned aerial vehicles (UAVs), with the goal of covering as broad a range of natural environmental conditions as possible. During the dataset creation process, multiple practical factors were considered, including varying lighting intensities, shadow occlusions, large-area corrosion, and other relevant scenarios. The primary application scope of the NPU-BOLT dataset lies in real-time or timely detection of loose or detached bolts in engineering structures, which is critical for ensuring structural safety and prolonging service lifespan.

搜集汇总

数据集介绍

构建方式

NPU-BOLT数据集的构建方式独具匠心，旨在模拟实际工程环境中螺栓的状态。数据集主要分为三个部分：作者在自然环境中拍摄的图像、从互联网下载的螺栓图像以及3D CAD模拟图像。作者使用手持相机、手机和无人机在多种自然环境中捕捉螺栓图像，涵盖了不同的光照条件、天气状况以及螺栓的腐蚀和脱落情况。互联网下载的图像则补充了不同摄影师视角下的螺栓图像，增加了数据集的多样性。3D CAD模拟图像则提供了高分辨率、无背景信息的螺栓图像，有助于提升螺栓目标检测的准确性。此外，数据集中的图像被分为四种类别：模糊螺栓、螺栓头、螺栓螺母和螺栓侧面。

特点

NPU-BOLT数据集具有以下特点：首先，数据集图像来源于真实自然场景，更贴近实际工程应用；其次，数据集包含了不同类型的螺栓连接结构，如法兰连接、管道连接、桥梁钢结构、车辆轮毂、施工机械、护栏、铁索固定和锚栓；再次，数据集的图像尺寸跨度大，从400*400到6000*4000不等，有助于训练模型对不同尺寸目标的检测能力；最后，数据集采用边界框标注方法，并以PASCAL VOC数据集格式存储，方便用户快速部署。

使用方法

使用NPU-BOLT数据集进行螺栓目标检测的方法如下：首先，将数据集下载并解压到本地。然后，使用开源标注软件LabelImg进行图像标注，生成XML格式的标注文件。接着，将标注数据集按照训练集、验证集和测试集进行划分。最后，选择合适的深度学习目标检测模型（如Faster-RCNN、CenterNet或YOLOv5系列算法）进行训练和预测。在训练过程中，可参考YOLOv5系列算法的数据增强方法，以及冻结参数和多个训练轮次的训练策略。预测过程中，对于高分辨率图像，可先进行图像分割，再进行目标检测；对于包含少量目标的图像，则直接输入网络进行预测。最终，将预测结果进行合并和去重，得到最终的检测结果。

背景与挑战

背景概述

螺栓连接在工程结构中非常普遍且重要，但由于极端的服务环境和负载因素，螺栓经常会出现松动甚至脱落。为了实时或及时检测到松动的或脱落的螺栓，对于保持结构的安全和寿命至关重要。近年来，许多利用深度学习和机器学习技术的螺栓松动检测方法已被提出，并吸引了越来越多的关注。然而，大多数这些研究使用在实验室条件下捕获的螺栓图像进行深度学习模型训练。这些图像是在良好的光照、距离和视角条件下获得的。此外，螺栓结构是经过精心设计的实验结构，使用全新的螺栓，并且螺栓暴露在没有任何遮蔽的附近。在实际工程中，上述良好的实验室条件并不容易实现，而真实的螺栓图像通常具有模糊边缘、倾斜视角、部分遮挡和难以区分的颜色等，这导致在实验室条件下获得的训练模型失去了准确性或失败。因此，本研究的目的是开发一个名为NPU-BOLT的数据集，用于自然场景图像中的螺栓目标检测，并将其开放供研究人员公开使用和进一步发展。在数据集的第一个版本中，它包含337个螺栓连接图像样本，主要在自然环境中，图像数据大小从400*400到6000*4000不等，总计大约1275个螺栓目标。螺栓目标被注释成四种类别，即模糊螺栓、螺栓头部、螺栓螺母和螺栓侧面。该数据集使用包括yolov5、Faster-RCNN和CenterNet在内的先进目标检测模型进行测试。该数据集的有效性得到验证。

当前挑战

NPU-BOLT数据集主要面临以下挑战：1)领域问题的挑战：尽管NPU-BOLT数据集在自然场景图像中的螺栓目标检测方面取得了进展，但该领域仍然存在一些挑战。首先，该数据集主要包含螺栓螺母和螺栓头部类别，螺栓侧面样本和模糊样本的数量不足，导致模型在训练时缺乏完整的特征信息。其次，螺栓侧面通常包含其他关联特征，如螺纹，增加了识别的难度。同时，由于拍摄方向的影响，螺栓侧面不适合传统的检测框标注方法，更适合具有旋转角度的标签框模型。第三，模糊样本也是当前目标检测领域的主要问题。2)构建过程中的挑战：为了构建一个具有多样性和代表性的螺栓检测数据集，研究人员需要考虑多种因素，包括不同的光照条件、视角、遮挡情况以及螺栓的腐蚀程度等。此外，数据集的标注也是一个挑战，因为需要准确地标注螺栓的不同部分，如螺栓头部、螺母和侧面，以便训练模型能够准确地识别和定位螺栓。

常用场景

经典使用场景

NPU-BOLT数据集为螺栓检测提供了丰富的自然场景图像，该数据集主要用于训练和评估螺栓目标检测模型。在工程结构中，螺栓的松动和脱落是一个普遍存在的问题，及时检测这些问题对于保持结构的安全性和使用寿命至关重要。NPU-BOLT数据集包含了337个螺栓连接图像样本，图像数据大小从400*400到6000*4000不等，总计约1275个螺栓目标。这些目标被标注为四种类型：模糊螺栓、螺栓头、螺栓螺母和螺栓侧面。该数据集已经使用先进的对象检测模型进行了测试，包括yolov5、Faster-RCNN和CenterNet。结果表明，使用该数据集训练的模型能够在自然环境中很好地定位和分类螺栓头和螺栓螺母。

解决学术问题

NPU-BOLT数据集解决了当前螺栓检测领域的一个关键问题，即缺乏真实自然场景下的螺栓图像数据。现有的螺栓松动检测方法大多使用实验室拍摄的螺栓图像进行模型训练，这些图像在光照、距离和视角等方面都经过了严格控制，而实际工程中的螺栓图像往往具有模糊边缘、斜视、部分遮挡和颜色难以区分等特点，导致实验室条件下训练的模型在实际应用中失去准确性。NPU-BOLT数据集提供了真实自然场景下的螺栓图像，为螺栓检测模型的训练和评估提供了更接近实际工程条件的数据，有助于提高模型的鲁棒性和实用性。

衍生相关工作

NPU-BOLT数据集的发布推动了螺栓检测领域的研究，并衍生了许多相关的工作。例如，一些研究者使用NPU-BOLT数据集训练了更先进的螺栓检测模型，这些模型在自然场景下具有更高的准确性和鲁棒性。此外，一些研究者还使用NPU-BOLT数据集研究了螺栓检测模型的性能评估方法，并提出了更有效的评估指标。此外，一些研究者还使用NPU-BOLT数据集研究了螺栓检测模型的优化方法，并提出了更有效的优化策略。总之，NPU-BOLT数据集的发布为螺栓检测领域的研究提供了重要的数据支持，并推动了该领域的研究进展。