DUT-USEG

DUT-USEG数据集由大连理工大学软件学院创建，是首个真实场景水下语义分割数据集，包含6617张水下图像，涉及海参、海胆、扇贝和海星四个类别。其中1487张图像具有语义分割和实例分割标注，剩余5130张具有目标检测框标注。数据集的创建旨在解决水下生物抓取技术中物体识别与分割的精度问题，特别是在提供物体轮廓等细致信息方面的需求。该数据集通过手工标注和基于已有目标检测数据集的扩展构建，适用于水下图像语义分割的研究和应用，特别是在提升水下机器人抓取效率和精度方面具有重要价值。The DUT-USEG dataset was developed by the School of Software, Dalian University of Technology. It is the first real-world underwater semantic segmentation dataset, consisting of 6617 underwater images covering four categories: sea cucumber, sea urchin, scallop, and starfish. Among them, 1487 images are annotated with both semantic segmentation and instance segmentation ground truths, while the remaining 5130 images are only annotated with object detection bounding boxes. This dataset was created to address the accuracy challenges of object recognition and segmentation in underwater biological grasping technology, particularly to fulfill the demand for detailed information such as object contours. Constructed via manual annotation and expansion based on existing object detection datasets, the DUT-USEG dataset is applicable to research and applications of underwater image semantic segmentation, and holds significant value for improving the efficiency and accuracy of underwater robotic grasping.

搜集汇总

数据集介绍

构建方式

DUT-USEG数据集的构建基于真实场景下的水下图像，从Liu等人提出的水下目标检测数据集中筛选了6617张图像，并对其中1487张进行了语义分割和实例分割的标注，剩余的5130张图像则保留了原有的目标检测框标注。数据集中包含了海参、海胆、扇贝和海星四个类别的水下生物，图像分辨率从586*480到3840*2160不等，涵盖了多种水下场景。

特点

DUT-USEG数据集具有以下特点：首先，它是第一个开源的真实场景水下图像语义分割数据集，为相关研究提供了宝贵的数据资源；其次，数据集包含了多种水下生物的标注信息，有助于研究者进行水下生物识别和分割的研究；此外，数据集的图像分辨率涵盖了从低到高的范围，有助于研究不同分辨率下的图像分割问题。

使用方法

DUT-USEG数据集的使用方法如下：首先，将数据集分为训练集和测试集，训练集包含有语义分割标注和目标检测框标注的图像，测试集则包含仅有目标检测框标注的图像；其次，使用伪标签生成器为无语义分割标注的图像生成伪标签，并通过融合类激活图和框注意力图的方式进行优化；最后，利用边界检测网络学习水下物体与背景之间的边界，以实现更精确的语义分割。在实际应用中，可以结合目标检测网络的结果，进一步提升水下生物抓取的精度。

背景与挑战

背景概述

随着水下机器人目标抓捕需求的不断上升，水下机器视觉领域的研究日益受到重视。水下目标检测技术虽然能够给出物体的大体位置，但无法提供物体轮廓等更加细致的信息，这对于水下目标的精准抓取效率产生了严重影响。为了解决这一问题，马志伟等人于20??年创建了一个真实场景水下语义分割数据集DUT-USEG，该数据集包含6617张图像，其中1487张具有语义分割和实例分割标注，剩余5130张图像具有目标检测框标注。基于此数据集，他们提出了一个关注边界的半监督水下语义分割网络US-Net，通过设计伪标签生成器和边界检测子网络，实现了对水下物体与背景之间边界的精细学习，提升了边界区域的分割效果。DUT-USEG数据集的建立为水下图像语义分割研究提供了重要的数据资源，对相关领域产生了深远的影响。

当前挑战

DUT-USEG数据集及相关研究面临的主要挑战包括：1) 高精度水下物体识别与分割的挑战：由于水下环境和物体本身的复杂性，水下物体与背景之间的边界难以区分，这对高精度的水下物体识别与分割提出了更高的要求。2) 构建过程中的挑战：高分辨率图像的处理需要下采样，这可能导致小物体信息的损失，从而影响分割精度。此外，同类物体边界分割的准确性也是一个需要解决的问题。未来研究将致力于解决这些问题，以提高水下图像语义分割的准确性和实用性。

常用场景

经典使用场景

DUT-USEG数据集在水下生物抓取技术中的应用尤为显著。该数据集提供了高精度的水下物体识别与分割，能够为水下机器人抓取物体提供更加细致的信息，从而提升抓取效率。在水下环境中，由于能见度低、光线条件复杂，物体与背景之间的边界往往难以区分。DUT-USEG数据集通过提供详细的语义分割标注，帮助研究者更好地理解和学习水下物体的轮廓和边界信息，进而提高水下目标的识别与分割精度。

衍生相关工作

DUT-USEG数据集的提出，衍生了一系列相关的经典工作。基于DUT-USEG数据集，研究者们提出了多种水下图像语义分割方法，如US-Net、GGANet等。这些方法通过设计伪标签生成器和边界检测子网络，实现了对水下物体与背景之间边界的精细学习，提升了边界区域的分割效果。此外，DUT-USEG数据集还为水下图像增强、水下目标检测等领域的研究提供了数据支持，推动了水下视觉领域的发展。

数据集最近研究

最新研究方向

随着水下生物抓取技术的发展，水下物体识别与分割的精度需求日益增长。DUT-USEG数据集作为首个真实场景水下语义分割数据集，为研究提供了宝贵的资源。在此基础上，US-Net网络通过设计伪标签生成器和边界检测子网络，实现了对水下物体与背景之间边界的精细学习，显著提升了分割效果。这一研究方向不仅解决了现有技术无法提供物体轮廓等细致信息的问题，还为水下生物抓取提供了更精确的指导。US-Net网络在DUT-USEG数据集上达到了目前最好的分割精度，标志着水下图像语义分割领域的重要进展。

相关研究论文

• An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset

  大连理工大学软件学院 · 2021年