Bespoke Dataset

该数据集是在现场通过真实世界数据获取的，形成了测试和验证解决方案的基础。

This dataset is compiled from real-world data collected on-site, serving as the foundation for testing and validating solutions.

原始信息汇总

数据集概述

项目背景

本项目是Innovate UK AKT项目的一部分，由南安普顿大学与一家行业客户合作完成。由于使用案例的敏感性，本仓库包含了一个简化的版本，专注于项目的技术成就。

主要目标

• 定制数据集的策划
  • 通过现场采集的真实世界数据，形成测试和验证解决方案的基础。
• 移动设备上的自定位、检测和映射
  • 使用开源软件集成到后端处理管道中实现。
• 3D点云中的检测和标记
  • 微调预训练的计算机视觉模型并开发机器学习技术，以准确映射点云中的物品。
• 客户产品的原型开发
  • 开发了一个系统，用于检测缺失和损坏的关注对象，这对客户的业务流程至关重要。

定制算法

1. 2D对象检测边界框转换到3D空间

   • 该算法通过将边界框投影到3D空间来扩展2D对象检测。它将深度图像中的2D像素坐标转换为3D空间坐标，从而估计对象的真实世界位置。

2. 地图对齐算法

   • 该算法旨在准确对齐黄金标准和比较地图表示。它采用图像处理和机器学习技术进行对齐。

3. 边界框二分匹配以识别缺失框

   • 该算法通过比较两次扫描来解决识别缺失关注对象的问题。它采用二分匹配方法将一次扫描中检测到的边界框与另一次扫描中的边界框配对。

开源使用

• 3D开源SLAM算法使用RTAB-Map [1]
• 对象检测模型是微调的YOLOv10模型 [2]
• 图像分类模型是微调的BEiT模型 [3]

许可证

本仓库中的代码没有关联的知识产权，因此根据MIT许可证进行许可。

参考文献

[1] Labbé, M. and Michaud, F., 2019. RTAB‐Map as an open‐source lidar and visual simultaneous localization and mapping library for large‐scale and long‐term online operation. Journal of field robotics, 36(2), pp.416-446. [2] Wang, A., Chen, H., Liu, L., Chen, K., Lin, Z., Han, J. and Ding, G., 2024. Yolov10: Real-time end-to-end object detection. arXiv preprint arXiv:2405.14458. [3] Bao, H., Dong, L., Piao, S. and Wei, F., 2021. Beit: Bert pre-training of image transformers. arXiv preprint arXiv:2106.08254.

搜集汇总

数据集介绍

构建方式

在Bespoke Dataset的构建过程中，研究团队通过现场采集真实世界的数据，精心筛选并整理，形成了一个专为测试和验证解决方案而设计的数据集。此数据集不仅涵盖了丰富的3D点云信息，还包含了与目标对象相关的详细标注，确保了数据的高质量和实用性。通过与行业客户的紧密合作，数据集的构建旨在支持移动设备上的自定位、检测和映射功能，以及3D点云中的对象检测和标注任务。

特点

Bespoke Dataset的显著特点在于其高度定制化和真实性。数据集中的每一项数据均来源于实际场景，确保了其在实际应用中的可靠性和有效性。此外，该数据集结合了先进的计算机视觉和机器学习技术，如RTAB-Map和YOLOv10模型，使得其在3D空间中的对象检测和映射能力尤为突出。数据集还特别设计了针对缺失和损坏对象的检测功能，满足了特定行业应用的特殊需求。

使用方法

使用Bespoke Dataset时，用户可以利用其丰富的3D点云数据和详细的标注信息，进行对象检测、定位和映射的算法开发和验证。数据集支持多种开源软件和算法，如RTAB-Map和YOLOv10模型，用户可以根据具体需求选择合适的工具进行数据处理和分析。此外，数据集还提供了详细的文档和示例代码，帮助用户快速上手并实现高效的算法集成和应用开发。

背景与挑战

背景概述

Bespoke Dataset是由南安普顿大学与一家行业客户合作，在Innovate UK AKT项目框架下创建的。该项目聚焦于三维点云中目标对象的定位与映射，旨在通过实际数据采集与验证，推动移动设备上的自我定位、检测及映射技术的发展。核心研究问题包括在三维点云中精确定位和标记对象，以及开发能够检测缺失和损坏对象的系统，这对于客户的业务流程至关重要。该数据集的创建不仅解决了实际应用中的技术难题，还为行业客户提供了向数据驱动型组织转型的战略路线图，展示了其在计算机视觉和机器学习领域的深远影响。

当前挑战

Bespoke Dataset在构建过程中面临多项挑战。首先，数据集的现场采集涉及复杂的真实世界数据处理，确保数据的准确性和代表性是一大难题。其次，在移动设备上实现自我定位、检测和映射，需要克服计算资源有限和实时性要求高的双重压力。此外，三维点云中的对象检测和标记，特别是对预训练计算机视觉模型的微调，要求高精度的机器学习技术。最后，开发能够识别缺失和损坏对象的算法，需要解决不同扫描间对象匹配的复杂性问题。这些挑战共同构成了该数据集在实际应用中的技术瓶颈。

常用场景

经典使用场景

在三维点云数据处理领域，Bespoke Dataset 以其独特的定制化特性，成为研究对象定位与映射的经典数据集。该数据集通过采集真实世界的数据，为移动设备上的自定位、检测与映射提供了坚实的基础。其核心应用场景包括在移动设备上实现对象的实时检测与标签化，特别是在复杂的三维环境中，如列车车厢内的标识物定位与映射。通过集成开源软件，如RTAB-Map，该数据集支持了从二维物体检测到三维空间转换的算法开发，极大地推动了相关技术的实际应用。

解决学术问题

Bespoke Dataset 在学术研究中解决了三维点云数据处理中的多个关键问题。首先，它通过提供真实世界的数据，解决了数据稀缺和质量低下的问题，为算法验证和模型训练提供了可靠的基础。其次，该数据集支持了从二维到三维空间转换的研究，推动了物体检测与定位技术的发展。此外，通过其定制化的算法，如地图对齐和边界框匹配，该数据集为解决复杂环境中的对象识别与映射问题提供了新的思路和方法，具有重要的学术价值和应用前景。

衍生相关工作

Bespoke Dataset 的发布和应用催生了多项相关研究和工作。首先，基于该数据集的二维到三维空间转换算法，推动了物体检测与定位技术的进一步发展，特别是在复杂环境中的应用。其次，地图对齐和边界框匹配算法的提出，为解决三维点云数据中的对齐和匹配问题提供了新的解决方案。此外，该数据集还激发了在移动设备上实现实时三维点云处理的更多研究，推动了相关技术的创新和应用。这些衍生工作不仅丰富了三维点云数据处理的研究领域，也为实际应用提供了更多可能性。