OpenLiDAR Dataset

OpenLiDAR Dataset是一个用于自动驾驶的3D物体检测的数据集，通过LiDAR传感器收集。该数据集可以转换为KITTI格式，并用于训练3D物体检测模型。

OpenLiDAR Dataset is a dataset dedicated to 3D object detection for autonomous driving, which is collected via LiDAR sensors. This dataset can be converted to the KITTI format and utilized for training 3D object detection models.

原始信息汇总

3D 物体检测工具使用 LiDAR 进行自动驾驶

由 OpenPCDet 驱动

OpenPCDet 是一个清晰、简单、自包含的开源项目，用于基于 LiDAR 的 3D 物体检测。

它是以下论文的官方代码发布：

• [PointRCNN]
• [Part-A2-Net]
• [PV-RCNN]
• [Voxel R-CNN]
• [PV-RCNN++]
• [MPPNet]

亮点：

• OpenPCDet 已更新至 v0.6.0（2022年9月）。
• 支持 PV-RCNN++ 和 MPPNet 的代码。
• 支持 Nuscenes 上的多模态 3D 检测方法。

概览

• 更新日志
• 设计模式
• 模型库
• 安装
• 快速演示
• 入门指南
• 引用

如何将 OpenLiDAR 数据集转换为 KITTI 格式

1. 首先下载 OpenLiDAR 数据集，目录结构如下：

   OpenLiDAR_Dataset_Folder ├── 2022-07-30-09_01_00_01_00_00_02.pkl ├── 00001.npy ├── 00002.npy ├── ...

2. 然后运行代码 automatic_extrac_OpenLiDAR_to_KITTI_Format.py 在 Convert_Open_LiDAR_to_KITTI_Format 文件夹中，输入 OpenLiDAR 数据集的路径和输出 OpenLiDAR 数据集的 KITTI 格式路径。

   python3 Convert_Open_LiDAR_to_KITTI_Format/automatic_extrac_OpenLiDAR_to_KITTI_Format.py --path_to_openlidar_dataset={PATH_TO_OPENLIDAR_DATASET} --path_to_openlidar_kitti_format={PATH_TO_RESULT_OPENLIDAR_KITTI_FORMAT}

   示例：

   python3 automatic_extrac_OpenLiDAR_to_KITTI_Format.py --path_to_openlidar_dataset="./240718_LiDAR benchmark/train_2022-07-30-09_01_00_01_00_00_02/" --path_to_openlidar_kitti_format="./OpenLiDAR_KITTI_Format/"

如何使用处理后的 OpenLiDAR 数据集训练 CenterNet 和 VoxelNext 3D 物体检测

1. 首先在配置文件 tools/cfgs/dataset_configs/kitti_dataset.yaml 中更改处理后的 OpenLiDAR 数据集的目录路径。

2. 你可以通过进入 tools 文件夹并使用以下命令快速训练 CenterNet 3D 物体检测：

   python3 train.py --cfg_file="cfgs/kitti_models/center_point_voxel_0.075_for_open_lidar_dataset.yml" --batch_size=4 --epochs=1000 --save_to_file

3. 然后你可以通过进入 tools 文件夹并使用以下命令快速训练 VoxelNext 3D 物体检测：

   python3 train.py --cfg_file="cfgs/kitti_models/voxelnext_3D_object_detection_for_open_lidar_dataset.yaml" --batch_size=4 --epochs=1000 --save_to_file

模型库

KITTI 3D 物体检测基线

以下是支持的方法的部分结果，所有结果均为 KITTI 数据集 val 集上中等难度级别的 3D 检测性能。

模型	训练时间	Car@R11	Pedestrian@R11	Cyclist@R11	下载
PointPillar	~1.2 小时	77.28	52.29	62.68	model-18M
SECOND	~1.7 小时	78.62	52.98	67.15	model-20M
SECOND-IoU	-	79.09	55.74	71.31	model-46M
PointRCNN	~3 小时	78.70	54.41	72.11	model-16M
PointRCNN-IoU	~3 小时	78.75	58.32	71.34	model-16M
Part-A2-Free	~3.8 小时	78.72	65.99	74.29	model-226M
Part-A2-Anchor	~4.3 小时	79.40	60.05	69.90	model-244M
PV-RCNN	~5 小时	83.61	57.90	70.47	model-50M
Voxel R-CNN (Car)	~2.2 小时	84.54	-	-	model-28M
Focals Conv - F	~4 小时	85.66	-	-	model-30M
CaDDN (Mono)	~15 小时	21.38	13.02	9.76	model-774M

Waymo 开放数据集基线

以下是部分模型的性能，所有模型均使用 Waymo 开放数据集的 20% 数据（约 32k 帧）进行训练，结果为整个验证集（版本 1.2）上的 mAP/mAPH。

模型	Vec_L1	Vec_L2	Ped_L1	Ped_L2	Cyc_L1	Cyc_L2
SECOND	70.96/70.34	62.58/62.02	65.23/54.24	57.22/47.49	57.13/55.62	54.97/53.53
PointPillar	70.43/69.83	62.18/61.64	66.21/46.32	58.18/40.64	55.26/51.75	53.18/49.80
CenterPoint-Pillar	70.50/69.96	62.18/61.69	73.11/61.97	65.06/55.00	65.44/63.85	62.98/61.46
CenterPoint-Dynamic-Pillar	70.46/69.93	62.06/61.58	73.92/63.35	65.91/56.33	66.24/64.69	63.73/62.24
CenterPoint	71.33/70.76	63.16/62.65	72.09/65.49	64.27/58.23	68.68/67.39	66.11/64.87
CenterPoint (ResNet)	72.76/72.23	64.91/64.42	74.19/67.96	66.03/60.34	71.04/69.79	68.49/67.28
Part-A2-Anchor	74.66/74.12	65.82/65.32	71.71/62.24	62.46/54.06	66.53/65.18	64.05/62.75
PV-RCNN (AnchorHead)	75.41/74.74	67.44/66.80	71.98/61.24	63.70/53.95	65.88/64.25	63.39/61.82
PV-RCNN (CenterHead)	75.95/75.43	68.02/67.54	75.94/69.40	67.66/61.62	70.18/68.98	67.73/66.57
Voxel R-CNN (CenterHead)-Dynamic-Voxel	76.13/75.66	68.18/67.74	78.20/71.98	69.29/63.59	70.75/69.68	68.25/67.21
PV-RCNN++	77.82/77.32	69.07/68.62	77.99/71.36	69.92/63.74	71.80/70.71	69.31/68.26
PV-RCNN++ (ResNet)	77.61/77.14	69.18/68.75	79.42/73.31	70.88/65.21	72.50/71.39	69.84/68.77

以下是使用完整训练集（100% 数据）训练的部分模型的性能：

模型	Vec_L1	Vec_L2	Ped_L1	Ped_L2	Cyc_L1	Cyc_L2
SECOND	72.27/71.69	63.85/63.33	68.70/58.18	60.72/51.31	60.62/59.28	58.34/57.05
CenterPoint-Pillar	73.37/72.86	65.09/64.62	75.35/65.11	67.61/58.25	67.76/66.22	65.25/63.77
[Part-A2-Anchor](tools/cfgs/waymo_models/PartA2

搜集汇总

数据集介绍

构建方式

OpenLiDAR数据集的构建方式主要通过采集和处理LiDAR点云数据来实现。该数据集包含了多个时间戳的点云文件，格式为.pkl和.npy，这些文件记录了自动驾驶场景中的三维空间信息。为了便于后续的模型训练和评估，数据集还提供了将原始数据转换为KITTI格式的脚本，即通过运行`automatic_extrac_OpenLiDAR_to_KITTI_Format.py`脚本，用户可以将OpenLiDAR数据集转换为KITTI格式，从而兼容现有的3D物体检测工具。

特点

OpenLiDAR数据集的主要特点在于其高精度的三维点云数据，这些数据能够为自动驾驶领域的3D物体检测提供丰富的空间信息。此外，数据集支持多种先进的3D物体检测模型，如PointRCNN、Part-A2-Net、PV-RCNN等，这些模型在数据集上表现出色。数据集还提供了与KITTI格式的兼容性，使得研究人员可以方便地利用现有的工具和方法进行实验和验证。

使用方法

使用OpenLiDAR数据集进行3D物体检测的步骤如下：首先，用户需要下载OpenLiDAR数据集，并将其存储在指定的目录中。接着，通过运行`automatic_extrac_OpenLiDAR_to_KITTI_Format.py`脚本，将数据集转换为KITTI格式。转换完成后，用户可以根据需要选择合适的模型配置文件，如CenterNet或VoxelNext的配置文件，并在`tools`目录下运行相应的训练脚本，例如`python3 train.py --cfg_file="cfgs/kitti_models/center_point_voxel_0.075_for_open_lidar_dataset.yml" --batch_size=4 --epochs=1000 --save_to_file`，以开始模型的训练过程。

背景与挑战

背景概述

OpenLiDAR Dataset是由OpenPCDet团队开发的一个用于自动驾驶领域的3D物体检测数据集。该数据集的核心研究问题是如何利用LiDAR点云数据进行精确的3D物体检测，这对于自动驾驶车辆的环境感知至关重要。OpenPCDet团队在2022年9月发布了该数据集的最新版本，并支持多种先进的3D物体检测方法，如PointRCNN、Part-A2-Net和PV-RCNN等。该数据集的发布不仅推动了LiDAR技术在自动驾驶领域的应用，也为相关研究提供了丰富的实验数据和基准。

当前挑战

OpenLiDAR Dataset在构建和应用过程中面临多项挑战。首先，LiDAR点云数据的稀疏性和不规则性使得3D物体检测任务变得复杂，需要高效的算法和模型来处理。其次，数据集的标注工作量大，且需要高精度的标注以确保检测结果的准确性。此外，将OpenLiDAR数据集转换为KITTI格式以便于现有算法的应用，也是一个技术上的挑战。最后，如何在有限的计算资源下高效地训练和评估模型，也是该数据集应用中的一个重要问题。

常用场景

经典使用场景

在自动驾驶领域，OpenLiDAR Dataset 的经典使用场景主要集中在基于激光雷达（LiDAR）的三维物体检测任务中。该数据集通过提供高精度的点云数据，支持多种先进的3D物体检测模型，如PointRCNN、Part-A2-Net和PV-RCNN等。这些模型利用OpenLiDAR Dataset进行训练和验证，能够有效识别和分类道路上的车辆、行人和自行车等目标，从而提升自动驾驶系统的环境感知能力。

解决学术问题

OpenLiDAR Dataset 解决了自动驾驶领域中三维物体检测的关键学术问题。通过提供高质量的LiDAR点云数据，该数据集为研究人员提供了一个标准化的测试平台，用于开发和评估新的3D物体检测算法。这不仅推动了相关算法的发展，还为不同模型之间的性能比较提供了基准，从而加速了自动驾驶技术的研究进程。

衍生相关工作

基于OpenLiDAR Dataset，研究者们开发了多种相关的经典工作。例如，PointRCNN 和 PV-RCNN 等模型在该数据集上进行了深入的实验和优化，显著提升了3D物体检测的准确性。此外，该数据集还促进了多模态数据融合的研究，如将LiDAR点云与摄像头图像结合，进一步提高了检测性能。这些工作不仅在学术界产生了广泛影响，也为工业界的自动驾驶技术发展提供了重要参考。