OpenLiDAR Dataset|自动驾驶数据集|3D物体检测数据集

OpenLiDAR Dataset是一个用于自动驾驶的3D物体检测的数据集，通过LiDAR传感器收集。该数据集可以转换为KITTI格式，并用于训练3D物体检测模型。

原始信息汇总

3D 物体检测工具使用 LiDAR 进行自动驾驶

由 OpenPCDet 驱动

OpenPCDet 是一个清晰、简单、自包含的开源项目，用于基于 LiDAR 的 3D 物体检测。

它是以下论文的官方代码发布：

• [PointRCNN]
• [Part-A2-Net]
• [PV-RCNN]
• [Voxel R-CNN]
• [PV-RCNN++]
• [MPPNet]

亮点：

• OpenPCDet 已更新至 v0.6.0（2022年9月）。
• 支持 PV-RCNN++ 和 MPPNet 的代码。
• 支持 Nuscenes 上的多模态 3D 检测方法。

概览

• 更新日志
• 设计模式
• 模型库
• 安装
• 快速演示
• 入门指南
• 引用

如何将 OpenLiDAR 数据集转换为 KITTI 格式

1. 首先下载 OpenLiDAR 数据集，目录结构如下：

   OpenLiDAR_Dataset_Folder ├── 2022-07-30-09_01_00_01_00_00_02.pkl ├── 00001.npy ├── 00002.npy ├── ...

2. 然后运行代码 automatic_extrac_OpenLiDAR_to_KITTI_Format.py 在 Convert_Open_LiDAR_to_KITTI_Format 文件夹中，输入 OpenLiDAR 数据集的路径和输出 OpenLiDAR 数据集的 KITTI 格式路径。

   python3 Convert_Open_LiDAR_to_KITTI_Format/automatic_extrac_OpenLiDAR_to_KITTI_Format.py --path_to_openlidar_dataset={PATH_TO_OPENLIDAR_DATASET} --path_to_openlidar_kitti_format={PATH_TO_RESULT_OPENLIDAR_KITTI_FORMAT}

   示例：

   python3 automatic_extrac_OpenLiDAR_to_KITTI_Format.py --path_to_openlidar_dataset="./240718_LiDAR benchmark/train_2022-07-30-09_01_00_01_00_00_02/" --path_to_openlidar_kitti_format="./OpenLiDAR_KITTI_Format/"

如何使用处理后的 OpenLiDAR 数据集训练 CenterNet 和 VoxelNext 3D 物体检测

1. 首先在配置文件 tools/cfgs/dataset_configs/kitti_dataset.yaml 中更改处理后的 OpenLiDAR 数据集的目录路径。

2. 你可以通过进入 tools 文件夹并使用以下命令快速训练 CenterNet 3D 物体检测：

   python3 train.py --cfg_file="cfgs/kitti_models/center_point_voxel_0.075_for_open_lidar_dataset.yml" --batch_size=4 --epochs=1000 --save_to_file

3. 然后你可以通过进入 tools 文件夹并使用以下命令快速训练 VoxelNext 3D 物体检测：

   python3 train.py --cfg_file="cfgs/kitti_models/voxelnext_3D_object_detection_for_open_lidar_dataset.yaml" --batch_size=4 --epochs=1000 --save_to_file

模型库

KITTI 3D 物体检测基线

以下是支持的方法的部分结果，所有结果均为 KITTI 数据集 val 集上中等难度级别的 3D 检测性能。

模型	训练时间	Car@R11	Pedestrian@R11	Cyclist@R11	下载
PointPillar	~1.2 小时	77.28	52.29	62.68	model-18M
SECOND	~1.7 小时	78.62	52.98	67.15	model-20M
SECOND-IoU	-	79.09	55.74	71.31	model-46M
PointRCNN	~3 小时	78.70	54.41	72.11	model-16M
PointRCNN-IoU	~3 小时	78.75	58.32	71.34	model-16M
Part-A2-Free	~3.8 小时	78.72	65.99	74.29	model-226M
Part-A2-Anchor	~4.3 小时	79.40	60.05	69.90	model-244M
PV-RCNN	~5 小时	83.61	57.90	70.47	model-50M
Voxel R-CNN (Car)	~2.2 小时	84.54	-	-	model-28M
Focals Conv - F	~4 小时	85.66	-	-	model-30M
CaDDN (Mono)	~15 小时	21.38	13.02	9.76	model-774M

Waymo 开放数据集基线

以下是部分模型的性能，所有模型均使用 Waymo 开放数据集的 20% 数据（约 32k 帧）进行训练，结果为整个验证集（版本 1.2）上的 mAP/mAPH。

模型	Vec_L1	Vec_L2	Ped_L1	Ped_L2	Cyc_L1	Cyc_L2
SECOND	70.96/70.34	62.58/62.02	65.23/54.24	57.22/47.49	57.13/55.62	54.97/53.53
PointPillar	70.43/69.83	62.18/61.64	66.21/46.32	58.18/40.64	55.26/51.75	53.18/49.80
CenterPoint-Pillar	70.50/69.96	62.18/61.69	73.11/61.97	65.06/55.00	65.44/63.85	62.98/61.46
CenterPoint-Dynamic-Pillar	70.46/69.93	62.06/61.58	73.92/63.35	65.91/56.33	66.24/64.69	63.73/62.24
CenterPoint	71.33/70.76	63.16/62.65	72.09/65.49	64.27/58.23	68.68/67.39	66.11/64.87
CenterPoint (ResNet)	72.76/72.23	64.91/64.42	74.19/67.96	66.03/60.34	71.04/69.79	68.49/67.28
Part-A2-Anchor	74.66/74.12	65.82/65.32	71.71/62.24	62.46/54.06	66.53/65.18	64.05/62.75
PV-RCNN (AnchorHead)	75.41/74.74	67.44/66.80	71.98/61.24	63.70/53.95	65.88/64.25	63.39/61.82
PV-RCNN (CenterHead)	75.95/75.43	68.02/67.54	75.94/69.40	67.66/61.62	70.18/68.98	67.73/66.57
Voxel R-CNN (CenterHead)-Dynamic-Voxel	76.13/75.66	68.18/67.74	78.20/71.98	69.29/63.59	70.75/69.68	68.25/67.21
PV-RCNN++	77.82/77.32	69.07/68.62	77.99/71.36	69.92/63.74	71.80/70.71	69.31/68.26
PV-RCNN++ (ResNet)	77.61/77.14	69.18/68.75	79.42/73.31	70.88/65.21	72.50/71.39	69.84/68.77

以下是使用完整训练集（100% 数据）训练的部分模型的性能：

模型	Vec_L1	Vec_L2	Ped_L1	Ped_L2	Cyc_L1	Cyc_L2
SECOND	72.27/71.69	63.85/63.33	68.70/58.18	60.72/51.31	60.62/59.28	58.34/57.05
CenterPoint-Pillar	73.37/72.86	65.09/64.62	75.35/65.11	67.61/58.25	67.76/66.22	65.25/63.77
[Part-A2-Anchor](tools/cfgs/waymo_models/PartA2

AI搜集汇总

数据集介绍

构建方式

OpenLiDAR数据集的构建方式主要通过采集和处理LiDAR点云数据来实现。该数据集包含了多个时间戳的点云文件，格式为.pkl和.npy，这些文件记录了自动驾驶场景中的三维空间信息。为了便于后续的模型训练和评估，数据集还提供了将原始数据转换为KITTI格式的脚本，即通过运行`automatic_extrac_OpenLiDAR_to_KITTI_Format.py`脚本，用户可以将OpenLiDAR数据集转换为KITTI格式，从而兼容现有的3D物体检测工具。

特点

OpenLiDAR数据集的主要特点在于其高精度的三维点云数据，这些数据能够为自动驾驶领域的3D物体检测提供丰富的空间信息。此外，数据集支持多种先进的3D物体检测模型，如PointRCNN、Part-A2-Net、PV-RCNN等，这些模型在数据集上表现出色。数据集还提供了与KITTI格式的兼容性，使得研究人员可以方便地利用现有的工具和方法进行实验和验证。

使用方法

使用OpenLiDAR数据集进行3D物体检测的步骤如下：首先，用户需要下载OpenLiDAR数据集，并将其存储在指定的目录中。接着，通过运行`automatic_extrac_OpenLiDAR_to_KITTI_Format.py`脚本，将数据集转换为KITTI格式。转换完成后，用户可以根据需要选择合适的模型配置文件，如CenterNet或VoxelNext的配置文件，并在`tools`目录下运行相应的训练脚本，例如`python3 train.py --cfg_file="cfgs/kitti_models/center_point_voxel_0.075_for_open_lidar_dataset.yml" --batch_size=4 --epochs=1000 --save_to_file`，以开始模型的训练过程。

背景与挑战

背景概述

OpenLiDAR Dataset是由OpenPCDet团队开发的一个用于自动驾驶领域的3D物体检测数据集。该数据集的核心研究问题是如何利用LiDAR点云数据进行精确的3D物体检测，这对于自动驾驶车辆的环境感知至关重要。OpenPCDet团队在2022年9月发布了该数据集的最新版本，并支持多种先进的3D物体检测方法，如PointRCNN、Part-A2-Net和PV-RCNN等。该数据集的发布不仅推动了LiDAR技术在自动驾驶领域的应用，也为相关研究提供了丰富的实验数据和基准。

当前挑战

OpenLiDAR Dataset在构建和应用过程中面临多项挑战。首先，LiDAR点云数据的稀疏性和不规则性使得3D物体检测任务变得复杂，需要高效的算法和模型来处理。其次，数据集的标注工作量大，且需要高精度的标注以确保检测结果的准确性。此外，将OpenLiDAR数据集转换为KITTI格式以便于现有算法的应用，也是一个技术上的挑战。最后，如何在有限的计算资源下高效地训练和评估模型，也是该数据集应用中的一个重要问题。

常用场景

经典使用场景

在自动驾驶领域，OpenLiDAR Dataset 的经典使用场景主要集中在基于激光雷达（LiDAR）的三维物体检测任务中。该数据集通过提供高精度的点云数据，支持多种先进的3D物体检测模型，如PointRCNN、Part-A2-Net和PV-RCNN等。这些模型利用OpenLiDAR Dataset进行训练和验证，能够有效识别和分类道路上的车辆、行人和自行车等目标，从而提升自动驾驶系统的环境感知能力。

解决学术问题

OpenLiDAR Dataset 解决了自动驾驶领域中三维物体检测的关键学术问题。通过提供高质量的LiDAR点云数据，该数据集为研究人员提供了一个标准化的测试平台，用于开发和评估新的3D物体检测算法。这不仅推动了相关算法的发展，还为不同模型之间的性能比较提供了基准，从而加速了自动驾驶技术的研究进程。

衍生相关工作

基于OpenLiDAR Dataset，研究者们开发了多种相关的经典工作。例如，PointRCNN 和 PV-RCNN 等模型在该数据集上进行了深入的实验和优化，显著提升了3D物体检测的准确性。此外，该数据集还促进了多模态数据融合的研究，如将LiDAR点云与摄像头图像结合，进一步提高了检测性能。这些工作不仅在学术界产生了广泛影响，也为工业界的自动驾驶技术发展提供了重要参考。