XLD

XLD数据集是由西北工业大学和百度视觉技术部联合创建，专注于自动驾驶模拟中的新颖视图合成。该数据集包含六个序列，覆盖不同时间和天气条件，每个序列有450张训练图像和150张测试图像，以及相应的相机姿态和内在参数。XLD数据集特别之处在于测试图像偏离训练轨迹1至4米，用于评估跨车道视图合成的能力。此数据集旨在解决自动驾驶模拟中对高质量、高保真视图合成的需求，特别是在闭环模拟中超越原始轨迹的视图渲染能力。

The XLD dataset was jointly created by the Northwestern Polytechnical University and the Baidu Visual Technology Department, focusing on novel view synthesis in autonomous driving simulations. The dataset consists of six sequences, covering various time and weather conditions, with each sequence containing 450 training images and 150 test images, along with corresponding camera poses and intrinsic parameters. The uniqueness of the XLD dataset lies in the fact that the test images deviate from the training trajectory by 1 to 4 meters, which is used to evaluate the capability of cross-lane view synthesis. This dataset is designed to address the need for high-quality and high-fidelity view synthesis in autonomous driving simulations, particularly the rendering ability to exceed the original trajectory in closed-loop simulations.

原始信息汇总

XLD: A Cross-Lane Dataset for Benchmarking Novel Driving View Synthesis

数据集概述

XLD数据集旨在为自动驾驶模拟中的新颖驾驶视角合成提供基准测试。该数据集包含六个序列，涵盖不同的时间和天气条件，每个序列包含450张训练图像和150张测试图像，以及相应的相机姿态和内在参数。

数据集特点

• 测试图像偏移：测试图像通过偏离训练轨迹1-4米的方式捕获，以模拟真实应用中的跨车道视角。
• 传感器设置：数据集包括三个摄像头和一个LiDAR传感器，用于数据生成。
• 场景多样性：数据集包含六个不同的场景，每个场景涉及车辆沿着道路轨迹行驶。

数据集结构

• 训练集：每个序列包含450张训练图像。
• 测试集：每个序列包含150张测试图像，测试图像沿着与车辆轨迹平行的轨迹采样，偏移量为0米、1米、2米和4米。

数据集应用

• 评估NVS方法：数据集用于评估现有的新颖视角合成（NVS）方法在前向和多摄像头设置下的性能。
• 闭环模拟：数据集支持在闭环模拟中评估自动驾驶系统的性能。

数据集贡献

• 填补评估空白：数据集填补了现有NVS方法在跨车道或闭环模拟中评估的空白。
• 建立基准：数据集建立了首个针对自动驾驶模拟的真实基准。

数据集可视化

• EmerNeRF：展示了EmerNeRF方法在不同偏移量下的预测视频。
• PVG：展示了PVG方法在不同偏移量下的预测视频。

搜集汇总

数据集介绍

构建方式

XLD数据集的构建是为了应对自动驾驶仿真中对新视图合成的需求，特别是那些超出原始轨迹的视图，如跨车道视图。该数据集是在Carla自动驾驶模拟器平台上生成的，包含了六个不同的场景，每个场景包含了各种时间和天气条件下的150个训练图像和120个测试图像。每个序列的训练数据包含了从原始轨迹偏离1-4米的测试图像，以及相应的相机姿态和内在参数。数据集的构建确保了在跨车道场景中，能够对现有新视图合成方法的性能进行评估。

使用方法

使用XLD数据集的方法主要包括两个步骤：训练和评估。在训练阶段，研究人员可以使用数据集中的训练图像来训练新视图合成模型。在评估阶段，研究人员可以使用数据集中的测试图像来评估模型的性能。XLD数据集提供了相应的相机姿态和内在参数，这可以帮助研究人员更好地理解模型在不同场景下的表现。此外，数据集还包含了偏离主轨迹的测试图像，这可以帮助研究人员评估模型在跨车道场景中的性能。

背景与挑战

背景概述

随着自动驾驶技术的飞速发展，模拟技术在自动驾驶系统的测试与开发中扮演着至关重要的角色。为了在虚拟世界中构建出真实的安全关键场景，本文介绍了XLD数据集，一个专门为自动驾驶模拟而设计的驾驶视图合成数据集。该数据集由西北工业大学和百度视觉实验室的研究团队创建，旨在解决现有评估方法无法满足闭环模拟实际需求的难题。XLD数据集的独特之处在于，它包含了偏离训练轨迹1-4米的测试图像，涵盖了各种时间和天气条件，为自动驾驶模拟提供了首个真实的基准。通过使用XLD数据集，研究人员可以评估现有NVS方法在前视和多相机设置下的性能，从而揭示当前方法在满足闭环模拟或跨车道场景的高要求方面的不足。

当前挑战

XLD数据集面临的主要挑战包括：1) 生成跨车道视图的挑战，即模型需要能够渲染出超出原始轨迹的视图，这在现实世界中难以捕捉；2) 构建过程中所遇到的挑战，如如何确保数据集的真实性和多样性，以及如何设计一个能够有效评估NVS方法性能的基准。此外，XLD数据集还面临如何处理跨车道场景中高频率细节的挑战，以及如何提高模型在模拟和真实世界之间的转换能力。为了解决这些挑战，XLD数据集采用了多种技术和方法，如使用NeRF和3DGS技术进行视图合成，以及使用语义分割和天空遮罩等技术来提高数据的真实性和多样性。

常用场景

经典使用场景

XLD数据集主要用于评估自动驾驶模拟中新型驾驶视图合成（NVS）算法的性能。该数据集提供了在原始轨迹偏离1-4米的情况下捕获的测试图像，以及相应的相机姿态和内在参数，使得算法能够在模拟环境中自由响应控制命令，而不仅仅是严格遵循日志中的原始轨迹。这种特性使得XLD数据集成为评估NVS算法在跨车道或闭环模拟中性能的理想选择。

解决学术问题

XLD数据集解决了现有NVS方法在评估时存在的局限性。大多数现有的NVS方法依赖于从训练数据中随机抽取图像帧，并通过与真实图像进行比较来评估渲染图像的质量。然而，这种评估协议无法满足闭环模拟的实际需求，因为实际应用需要能够渲染超出原始轨迹的视图（例如跨车道视图），这在现实世界中很难捕获。XLD数据集提供了测试图像，这些图像是通过偏离训练轨迹来捕获的，从而使得评估NVS算法在跨车道或闭环模拟中的性能成为可能。

实际应用

XLD数据集在实际应用中主要用于自动驾驶模拟，以评估和改进NVS算法的性能。通过使用XLD数据集，研究人员可以测试NVS算法在不同场景下的性能，包括不同天气条件和时间，以及偏离训练轨迹的跨车道视图。此外，XLD数据集还可以用于训练和优化NVS算法，以提高其准确性和可靠性，从而推动自动驾驶技术的发展。

数据集最近研究

最新研究方向

在自动驾驶仿真领域，XLD数据集的提出旨在填补现有NVS方法在闭合环路模拟中表现不足的空白。该数据集通过捕获偏离训练轨迹的测试图像，为评估NVS方法在跨车道视图合成方面的性能提供了新的基准。研究结果表明，现有方法在满足跨车道或闭合环路模拟的严格要求方面存在显著差距。未来的研究可以利用XLD数据集和基准来评估新方法在实现闭合环路模拟方面的进展。此外，XLD数据集的局限性在于其使用Unreal-based Carla模拟器生成，因此未来的工作计划包括创建包含跨车道真实数据的世界数据集，以进一步提高评估的真实性和适用性。

相关研究论文

• XLD: A Cross-Lane Dataset for Benchmarking Novel Driving View Synthesis

  西北工业大学, 百度 VIS · 2024年