OpenLane

OpenLane是由上海人工智能实验室创建的大规模真实世界3D车道数据集，包含200,000帧图像和超过880,000条实例级车道，涵盖14种车道类别。数据集通过高质量标注和丰富的场景多样性，旨在推动车道检测技术的发展，特别是在复杂的自动驾驶场景中。创建过程中，数据集利用了先进的图像处理和3D重建技术，确保了车道数据的准确性和实用性。OpenLane数据集的应用领域包括自动驾驶系统的开发和测试，特别是在处理复杂道路条件和多变环境下的车道识别问题。OpenLane is a large-scale real-world 3D lane dataset developed by the Shanghai AI Laboratory. It contains 200,000 image frames and over 880,000 instance-level lane annotations covering 14 lane categories. With high-quality annotations and rich scene diversity, this dataset is designed to advance the development of lane detection technologies, especially in complex autonomous driving scenarios. During its construction, advanced image processing and 3D reconstruction techniques were employed to ensure the accuracy and practicality of the lane-related data. Applications of the OpenLane dataset cover the development and testing of autonomous driving systems, particularly for lane recognition tasks under complex road conditions and variable environments.

搜集汇总

数据集介绍

构建方式

OpenLane 数据集的构建方式基于 Waymo Open 数据集，通过投影 3D 对象标注到图像平面并使用学习或 SLAM 算法构建 3D 场景图。首先，使用 3D 对象边界框对点云进行过滤，然后将点云投影回相应的图像。接着，仅保留与 2D 车道相关的点，并使用过滤后的点云插值 2D 标注中每个点的 3D 位置。最后，利用定位系统将同一片段内帧中的 3D 车道点拼接成长、高密度的车道。为了去除不合理部分，将车道中 2D 投影高于其 2D 标注结束位置的点标记为不可见，并进行平滑处理以去除任何异常值并生成 3D 标注结果。

特点

OpenLane 数据集的特点是：1) 规模大，包含 20 万帧图像和超过 88 万条实例级车道；2) 场景多样，涵盖 14 种车道类别，并包含场景标签和路径内最近对象标注；3) 高质量标注，所有车道均经过精心标注，并使用 3D 定位系统进行校准。

使用方法

OpenLane 数据集的使用方法如下：1) 下载数据集；2) 解压数据集；3) 使用数据集进行模型训练或评估。数据集包含图像、标注文件和场景标签等信息，可以用于车道检测、场景理解等自动驾驶相关任务的研究和开发。

背景与挑战

背景概述

自动驾驶技术近年来取得了显著进展，高级驾驶辅助系统 (ADAS) 为 L2 或 L4 级别路线提供了诸如自动车道居中 (ALC) 和车道偏离警告 (LDW) 等功能。感知模块是车道检测算法的核心，它能够生成鲁棒且通用的车道线。然而，传统的车道检测框架主要针对二维图像空间，无法满足工业级产品对正射鸟瞰图 (BEV) 车道位置的需求。此外，在复杂的驾驶场景中，例如上下坡、颠簸等，传统的二维车道检测方法难以准确预测车道布局。为了解决这些问题，PersFormer 被提出，它是一种端到端的单目 3D 车道检测器，具有基于 Transformer 的空间特征变换模块。该模型通过关注相关的前视图局部区域并参考相机参数来生成 BEV 特征。PersFormer 采用了统一的 2D/3D 锚设计和一个辅助任务，同时检测 2D/3D 车道，从而增强特征一致性和共享多任务学习的优势。此外，OpenLane 数据集作为首批大规模真实世界 3D 车道数据集之一，包含 200,000 帧，超过 880,000 个实例级车道，14 个车道类别，以及场景标签和封闭路径对象注释，以促进车道检测和更多与工业相关的自动驾驶方法的发展。PersFormer 在 OpenLane 数据集和 Apollo 3D 车道合成数据集上的 3D 车道检测任务中显著优于竞争基线，并且在 OpenLane 数据集上的 2D 任务中与最先进算法相当。

当前挑战

PersFormer 和 OpenLane 数据集面临着一些挑战。首先，在将透视车道投影到 BEV 空间时，必须考虑车道线的高度。如果忽略高度信息，在上下坡等情况下，车道会发散或收敛，导致规划和控制模块中的不适当操作决策。其次，现有的车道检测基准通常假设 BEV 空间中的车道位于平坦地面上，即车道的高度为零。然而，在实际的自动驾驶场景中，例如上下坡、颠簸等，这种平面假设并不成立。此外，3D 车道检测是一个病态问题，因为公共基准上缺乏高度信息或难以获取准确的真实值。最后，尽管 PersFormer 在 OpenLane 数据集和 Apollo 3D 车道合成数据集上取得了显著的性能，但在某些情况下，例如在接近车道起点时，其性能仍然不尽如人意。

常用场景

经典使用场景

OpenLane数据集作为首个大规模真实世界3D车道数据集，为车道检测和自动驾驶领域的研究提供了宝贵的资源。该数据集包含200,000帧图像，超过880,000个实例级车道，14种车道类别，以及场景标签和路径内最近对象标注。这些丰富的数据使得OpenLane成为评估和训练3D车道检测算法的理想平台。PersFormer，一个基于Transformer的端到端单目3D车道检测器，利用OpenLane数据集进行了训练和评估，并在3D车道检测任务中取得了显著的性能提升。该模型通过关注与相机参数相关的相关前视图局部区域，生成了鸟瞰图(BEV)特征，并通过统一的2D/3D锚设计同时检测2D和3D车道，增强了特征一致性和多任务学习的优势。

解决学术问题

OpenLane数据集解决了3D车道检测中存在的两个关键问题：空间变换和缺乏真实世界数据集。传统的空间变换方法，如逆透视映射(IPM)，在复杂情况下表现不佳，因为它们忽略了相机参数和特征在视图之间的实际交互。OpenLane数据集的发布填补了这一空白，为研究人员提供了高质量的真实世界数据，使得算法可以在更具挑战性的场景中进行训练和评估。此外，PersFormer的提出为3D车道检测提供了一种新的解决方案，它通过Transformer-based的空间特征变换模块生成更好的BEV特征表示，并统一了2D和3D车道检测任务，从而提高了检测的准确性和鲁棒性。

衍生相关工作

OpenLane数据集和PersFormer模型的提出推动了车道检测和自动驾驶领域的研究。OpenLane数据集的发布促进了3D车道检测算法的发展，并为研究人员提供了更真实和更具挑战性的数据集进行算法评估和训练。PersFormer模型的成功也为其他3D检测任务提供了新的思路，例如3D物体检测和3D场景理解。此外，OpenLane数据集的多样化标签和场景信息也为其他自动驾驶相关的研究提供了宝贵的资源，例如场景理解、路径规划和行为预测。