Para-Lane

Para-Lane数据集是由阿里巴巴集团自主驾驶实验室创建的首个真实世界多车道数据集，旨在评估新型视图合成技术在自动驾驶系统中的性能。该数据集包含25组关联序列，包括16000张前视图图像、64000张环视图图像和16000帧激光雷达数据。所有帧都被标记以区分移动对象和静态元素。该数据集通过多通道扫描注册，为自动驾驶中的新视图合成任务提供了真实世界的扫描数据。

The Para-Lane dataset is the first real-world multi-lane dataset created by the Autonomous Driving Lab of Alibaba Group, aiming to evaluate the performance of novel view synthesis techniques in autonomous driving systems. It consists of 25 sets of correlated sequences, including 16,000 front-view images, 64,000 surround-view images, and 16,000 frames of LiDAR data. All frames are annotated to distinguish moving objects from static elements. Leveraging multi-channel scan registration, this dataset provides real-world scan data for the novel view synthesis task in autonomous driving.

搜集汇总

数据集介绍

构建方式

Para-Lane数据集的构建采用了多源数据采集和两阶段位姿优化机制。数据采集阶段通过多激光扫描仪、前视相机和四周围视相机在公共城市道路上进行多趟轨迹扫描。位姿优化阶段首先通过激光雷达映射和多模态结构化运动技术进行帧间位姿的精确对齐，然后利用交叉模态特征对应关系将图像帧注册到激光雷达地图上。

特点

Para-Lane数据集的特点在于其真实世界场景下的多车道数据，包括16,000个前视图像、64,000个周围视图图像和16,000个激光雷达帧。所有帧都进行了标注，以区分动态对象和静态元素。此外，数据集提供了所有必要的相关序列和参考坐标系统之间的相对变换。

使用方法

Para-Lane数据集可用于评估端到端自动驾驶系统的性能，特别是跨车道场景下的新颖视图合成能力。数据集支持跨车道视图合成的基准测试，并且包含了足够的数据来训练和评估基于NeRF和3DGS的现有方法。此外，数据集还提供了多传感器位姿解决方案，用于多模态数据对齐，以促进此类数据集的整理。

背景与挑战

背景概述

Para-Lane数据集是一项针对自动驾驶系统评估的突破性研究，由阿里巴巴集团旗下的菜鸟智能驾驶实验室与百度研究院的研究人员共同开发。该数据集的创建旨在填补现有合成场景数据集在真实感方面存在的空白，以更准确地评估自动驾驶系统在多车道场景下的性能。Para-Lane数据集包含了25组关联序列，其中包括16000张前视图像、64000张环视图像和16000帧激光雷达数据，所有帧都被标记以区分移动对象和静态元素。该数据集的推出为自动驾驶领域的研究提供了重要的工具，有助于推动自动驾驶技术的发展。

当前挑战

Para-Lane数据集的创建面临着多项挑战。首先，收集真实场景下的多车道地面真实数据本身就具有相当的难度。其次，为了确保数据集的真实性和可靠性，研究人员采用了多通道数据采集方案，这要求在数据对齐方面进行精确的处理。在构建过程中，数据对齐是一个关键问题，需要解决惯性导航系统（INS）在相邻传感器帧对齐方面的不足，以及像素到点映射的精度问题。此外，为了克服这些挑战，Para-Lane数据集采用了两阶段的姿态优化机制，以实现外感知传感器数据的时空对齐。

常用场景

经典使用场景

Para-Lane数据集是一个专门用于评估自动驾驶中新型视图合成（NVS）能力的真实世界多车道数据集。该数据集包含25组相关序列，包括16,000个前视图图像、64,000个环绕视图图像和16,000个激光雷达帧。所有帧都被标记以区分移动对象和静态元素。使用此数据集，可以评估现有方法在各种测试场景中的性能，包括不同车道和距离。此外，该方法还提供了多传感器姿态解决方案，以解决和评估多模态数据对齐的质量，以创建此类数据集。

解决学术问题

该数据集解决了自动驾驶中新型视图合成（NVS）评估的难题。现有的NVS方法主要关注基于插值质量的视图评估，而不是横向视点偏移（即跨车道NVS）。由于缺乏专门为此目的设计的数据库和基准测试，因此这些新算法的潜在影响尚未得到充分展示。Para-Lane数据集通过提供真实世界的多车道数据，填补了这一空白，使研究人员能够更全面地评估跨车道NVS的质量。

衍生相关工作

Para-Lane数据集的发布为自动驾驶领域的研究人员提供了新的研究工具和资源。该数据集可以用于开发新的NVS方法和算法，以及改进现有的方法。此外，该数据集还可以用于评估和比较不同的NVS方法和算法，以确定最佳的性能和效果。该数据集的发布还将促进自动驾驶领域的学术交流和技术创新，有助于推动自动驾驶技术的发展和应用。