uxo-dataset2024

这是一个用于水下未爆炸弹药（UXO）感知的多模态同步数据集，包含声学和光学传感数据。使用ARIS 3000成像声纳、GoPro Hero 8和自定义设计的龙门吊，在受控环境中记录了近100条轨迹和超过74,000帧的3种不同类型的UXO数据。数据集包括原始和极坐标变换的声纳帧、标注的相机帧、声纳和目标姿态、纹理3D模型、校准矩阵等。该数据集旨在用于水下UXO的声学和光学感知研究，并在受控实验环境中记录。

This is a multimodal synchronous dataset for underwater unexploded ordnance (UXO) perception, encompassing acoustic and optical sensing data. Collected in a controlled experimental environment using an ARIS 3000 imaging sonar, a GoPro Hero 8, and a custom-designed gantry crane, the dataset includes nearly 100 trajectories and over 74,000 frames of three distinct types of UXO data. It contains raw and polar-transformed sonar frames, annotated camera frames, sonar and target poses, textured 3D models, calibration matrices, and other relevant data. This dataset is designed for research on acoustic and optical perception of underwater UXO, and was recorded in a controlled experimental environment.

原始信息汇总

UXO 数据集概述

数据集简介

该数据集包含多模态同步数据，用于水下声学和光学传感对未爆炸弹药（UXO）的感知。数据集在受控环境中记录，包含近100条轨迹和超过74,000帧的3种不同类型的UXO。

数据内容

• 声呐扫描：使用ARIS Explorer 3000成像声呐对多个UXO进行扫描。
• 匹配的GoPro UHD帧：大多数声呐帧都有对应的GoPro UHD帧。
• 声呐和目标的已知变换：声呐和目标之间的准确变换。
• 目标详细信息：包括弹药类型、尺寸和3D模型。
• 跟踪扫描轨迹：适用于非实验环境的典型和可实现的轨迹。
• 公开可用：数据集可在[https://zenodo.org/records/11068046]获取。
• 导出脚本：导出脚本可在[https://github.com/dfki-ric/uxo-dataset2024]获取。

数据集属性

• 声呐数据：原始和极坐标变换的声呐帧。
• 相机数据：带注释的相机帧。
• 姿态数据：声呐和目标的姿态。
• 3D模型：带纹理的3D模型。
• 校准矩阵：校准矩阵和其他相关数据。

数据预处理

• 声呐数据提取：从ARIS记录中提取单个帧和元数据。
• 声呐数据转换：将提取的ARIS数据转换为极坐标变换的图像。
• 光学流计算：计算每个ARIS记录的光学流幅度。
• 运动偏移标记：手动标记每个ARIS记录的运动起始和结束。
• 起重机轨迹提取：从记录的ROS包中提取起重机轨迹。
• 起重机运动偏移提取：自动提取每个起重机轨迹的运动起始和结束。
• GoPro剪辑：根据从音频轨道提取的时间戳剪辑GoPro记录。
• GoPro重编码：将剪辑后的GoPro片段重新编码为较小分辨率。
• GoPro光学流计算：计算GoPro片段的光学流幅度。
• 记录匹配：图形用户界面用于配对ARIS记录和GoPro片段并调整时间偏移。
• 数据集组装：基于预处理步骤组装数据集以进行导出。
• 数据打包：将预处理和导出的文件打包成存档。

引用

使用此数据集或处理代码时，请引用以下论文： bibtex @inproceedings{Dahn2024-uxo, title = {An Acoustic and Optical Dataset for the Perception of Underwater Unexploded Ordnance (UXO)}, author = {Dahn, Nikolas and Bande Firvida, Miguel and Sharma, Proneet and Christensen, Leif and Geisler, Oliver and Mohrmann, Jochen and Frey, Torsten and Sanghamreddy, Prithvi Kumar and Kirchner, Frank}, keywords = {UXO, unexploded ordnance, dataset, imaging sonar}, booktitle = {2024 IEEE OCEANS}, year = {2024}, pages = {}, doi = {}, url = {}, }

搜集汇总

数据集介绍

构建方式

在20世纪，全球海洋中遗留了数百万吨未爆炸的军火。为了应对这些未爆炸弹药（UXO）带来的问题，并促进通过自主水下车辆进行更高效的打捞工作，我们构建了一个多模态同步数据集，用于水下声学和光学传感。该数据集通过使用ARIS 3000成像声纳、GoPro Hero 8相机以及定制设计的龙门吊，在受控环境中记录了近100条轨迹和超过74,000帧的3种不同类型的UXO数据。数据集包括原始和极坐标变换的声纳帧、标注的相机帧、声纳和目标姿态、纹理3D模型、校准矩阵等。

特点

该数据集的主要特点包括：使用ARIS Explorer 3000成像声纳对多个UXO进行扫描，大多数声纳帧配有匹配的GoPro UHD帧，声纳与目标之间具有已知且准确的变换关系，详细记录了UXO目标的弹药类型、尺寸和3D模型，跟踪的扫描轨迹适用于非实验环境，数据集公开可用，并提供导出脚本。

使用方法

数据集的导出数据使用简单且广泛接受的格式，如.pgm、.jpg、.csv、.yaml、.json和.txt。为方便查看，我们提供了一个脚本，允许使用箭头键同步浏览数据点。预处理过程中，通过计算光流和匹配运动起始点，解决了GoPro时间戳不同步的问题。预处理脚本按文件名顺序使用，具体选项从伴随的`config.yaml`文件中读取。

背景与挑战

背景概述

在20世纪，全球海洋中倾倒了数百万吨的军火。随着时间的推移，这些未爆炸弹药（UXO）的问题逐渐显现。为了通过自主水下车辆等手段提高打捞效率，获取具有代表性的数据至关重要。然而，迄今为止，此类数据并未公开。uxo-dataset2024数据集由Nikolas Dahn等研究人员于2024年创建，旨在为水下UXO的声学和光学感知研究提供多模态同步数据。该数据集使用ARIS 3000成像声纳、GoPro Hero 8相机和定制设计的龙门吊，记录了近100条轨迹和超过74,000帧的3种不同类型的UXO数据。数据集包括原始和极坐标变换的声纳帧、标注的相机帧、声纳和目标姿态、纹理3D模型、校准矩阵等，旨在推动水下UXO感知技术的研究。

当前挑战

uxo-dataset2024数据集在构建过程中面临多项挑战。首先，GoPro相机缺乏同步时间戳，导致匹配声纳数据与视频数据时需依赖运动匹配。其次，GoPro的录制和文件命名方案，加上电池不足导致的掉帧，使得找到每个录制的对应片段变得困难。计算光流有助于解决这些问题。此外，数据预处理过程中，研究人员需手动标记声纳数据的动量起始和结束，并自动提取龙门吊轨迹的动量起始和结束。这些挑战不仅涉及技术实现，还涉及数据处理的复杂性和精度要求，为后续研究提供了宝贵的经验和数据基础。

常用场景

经典使用场景

在海洋环境中，未爆炸弹药（UXO）的探测与识别是当前亟需解决的难题。uxo-dataset2024数据集通过提供多模态同步数据，包括声学和光学传感信息，为这一领域的研究提供了宝贵的资源。该数据集的经典使用场景主要集中在利用声呐和光学传感器对UXO进行精准定位和分类。通过分析声呐图像和光学图像的匹配数据，研究人员可以开发出高效的算法，用于自主水下机器人（AUV）在复杂水下环境中进行UXO的自动识别和定位。

实际应用

uxo-dataset2024数据集在实际应用中具有广泛的前景。首先，它可以用于训练和验证自主水下机器人（AUV）的导航和目标识别系统，提高其在复杂水下环境中执行任务的能力。其次，该数据集可以支持开发新的水下探测设备和技术，如改进的声呐系统和光学传感器，以更高效地探测和定位UXO。此外，数据集还可以用于军事和民用领域的培训和模拟，帮助操作人员熟悉和掌握水下探测技术，提高实际操作中的安全性和效率。

衍生相关工作

uxo-dataset2024数据集的发布催生了多项相关研究工作。首先，基于该数据集，研究人员开发了多种多传感器融合算法，显著提高了水下目标识别的准确性。其次，数据集的公开促进了跨学科的合作，如声学、光学和机器人技术的结合，推动了水下探测技术的创新。此外，该数据集还激发了对水下环境感知和导航系统的深入研究，为开发更智能、更自主的水下机器人提供了理论和实验支持。这些衍生工作不仅丰富了水下探测领域的研究内容，也为实际应用提供了强有力的技术支撑。