ONCE (One millioN sCenEs) dataset

ONCE数据集是目前最大的自动驾驶数据集，由华为诺亚方舟实验室等机构创建，包含100万个3D场景和700万张2D图像。数据集覆盖了144小时的驾驶数据，涵盖了不同的地区、时间段和天气条件，远超现有的其他自动驾驶数据集。每个场景由高质量的LiDAR传感器捕获，转换为平均每场景7万个点的密集3D点云。此外，每个场景还通过7个摄像头捕捉高分辨率图像，覆盖360度视野。数据集不仅用于3D物体检测，还支持自监督和半监督学习方法的研究，旨在解决自动驾驶中的长尾问题和未见案例覆盖问题。

The ONCE Dataset is currently the largest autonomous driving dataset, created by institutions including Huawei Noah's Ark Lab and other relevant organizations. It contains 1 million 3D scenes and 7 million 2D images, with a total of 144 hours of driving data covering diverse regions, time periods and weather conditions, which far surpasses existing autonomous driving datasets. Each scene is captured by high-quality LiDAR sensors and converted into dense 3D point clouds with an average of 70,000 points per scene. Additionally, each scene is also captured by 7 cameras to obtain high-resolution images covering a 360-degree field of view. The dataset not only supports 3D object detection research, but also facilitates studies on self-supervised and semi-supervised learning methods, aiming to address the long-tail problem and unseen case coverage issue in autonomous driving.

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，感知模型的性能提升依赖于大规模标注数据的覆盖。然而，现实世界场景数据的不足限制了全监督、半监督和自监督方法的发展。为此，我们引入了ONCE数据集，该数据集包含100万帧激光雷达场景和700万帧对应的摄像头图像，数据采集时长为144小时，覆盖了多种地理区域、时间段和天气条件。数据集的构建通过在多个城市进行数据采集，确保了数据的多样性和广泛性。

特点

ONCE数据集的特点在于其规模和多样性。相较于现有的自动驾驶数据集，如nuScenes和Waymo，ONCE数据集在场景数量和图像数量上分别增加了5倍和7倍，采集时长增加了20倍。此外，数据集提供了精确的传感器校准参数和多传感器数据融合，以及详细的天气和时间段信息，为研究提供了丰富的上下文知识。

使用方法

ONCE数据集可用于多种自动驾驶任务的研究，特别是3D物体检测。研究者可以利用数据集中的标注数据进行全监督学习，或利用未标注数据进行半监督和自监督学习。数据集还提供了基准测试，帮助研究者评估和比较不同方法的性能。通过访问数据集的官方网站，研究者可以获取详细的使用指南和下载链接。

背景与挑战

背景概述

随着自动驾驶技术的快速发展，3D物体检测作为自动驾驶系统中的关键技术，能够识别和定位自车周围的车辆和行人。近年来，大规模和多样化的场景数据显著提升了3D检测器的感知精度。然而，现有的自动驾驶数据集在数据资源和场景多样性方面存在局限，主要因为这些数据必须通过搭载昂贵传感器套件的车辆在道路上收集，且需遵守当地法规。为了解决这一问题，ONCE（One millioN sCenEs）数据集应运而生，由华为诺亚方舟实验室等机构的研究人员创建，包含100万帧LiDAR场景和700万帧对应的摄像头图像，覆盖144小时的驾驶数据，比现有的最大3D自动驾驶数据集（如nuScenes和Waymo）长20倍，且涵盖了更多不同的区域、时间段和天气条件。

当前挑战

ONCE数据集在构建过程中面临两大挑战：一是数据资源的稀缺和场景的缺乏多样性，自动驾驶场景必须通过实际驾驶收集，导致现有数据集提供的场景数据有限；二是有效利用未标注场景数据的问题，尽管数据采集车辆可以收集大量点云数据，但熟练工人每天只能标注100-200帧，导致未标注数据迅速积累。此外，当前的3D物体检测评估指标在处理物体方向时存在问题，预测框与地面真实框的方向相反时仍可匹配，这可能在实际应用中带来危险。ONCE数据集通过引入更严格的评估指标，考虑物体的方向，以解决这一问题。

常用场景

经典使用场景

ONCE数据集在自动驾驶领域中的经典应用场景主要集中在3D物体检测任务上。该数据集包含了100万帧的激光雷达场景和700万帧的相应摄像头图像，覆盖了144小时的驾驶数据，远超现有的自动驾驶数据集（如nuScenes和Waymo）。这些丰富的数据为研究人员提供了在不同地理区域、时间段和天气条件下进行3D物体检测的宝贵资源，尤其是在处理未标记的大规模数据时，能够显著提升感知模型的鲁棒性和准确性。

实际应用

在实际应用中，ONCE数据集被广泛用于训练和验证自动驾驶系统中的3D物体检测算法。这些算法在车辆和行人周围的环境中识别和定位物体，为自动驾驶车辆的安全行驶提供了关键信息。此外，数据集中的未标记数据也被用于半监督和自监督学习方法的训练，进一步提升了检测模型的性能和泛化能力。

衍生相关工作

ONCE数据集的发布催生了一系列相关研究工作，特别是在自监督和半监督学习方法在3D物体检测中的应用。例如，研究人员基于该数据集开发了多种对比学习和聚类方法，如PointContrast和DeepCluster，这些方法在3D点云理解方面取得了显著进展。此外，数据集还促进了无监督域适应技术的发展，如SN和ST3D，这些技术在不同数据集之间迁移模型时表现出色。