XLD

XLD是一个用于基准测试新型驾驶视图合成的跨车道数据集。

XLD is a cross-lane dataset designed for benchmarking novel driving view synthesis.

原始信息汇总

数据集概述

数据预处理

1. 解压压缩文件（例如 carla_pic_0603_Town**.zip）。

2. 从数据链接下载 intrinscis.zip 和 extrinsics.zip 并解压。

3. 将 intrinscis 和 extrinsics 移动到相应的文件夹。 bash cp -r intrinsics data/carla_pic_0603_Town01 cp -r extrinsics data/carla_pic_0603_Town01 cp -r intrinsics data/carla_pic_0603_Town02 cp -r extrinsics data/carla_pic_0603_Town02 cp -r intrinsics data/carla_pic_0603_Town03 cp -r extrinsics data/carla_pic_0603_Town03 cp -r intrinsics data/carla_pic_0603_Town04 cp -r extrinsics data/carla_pic_0603_Town04 cp -r intrinsics data/carla_pic_0603_Town05 cp -r extrinsics data/carla_pic_0603_Town05 cp -r intrinsics data/carla_pic_0603_Town10 cp -r extrinsics data/carla_pic_0603_Town10

4. 数据结构应如下所示：

   generate_offset_0_test.py rename.py convert_XLD_transforms.py data ├── carlc_pic_0603_Town0N ├────────────|─────────── intrinsics ├────────────|─────────────── | ───────── 0.txt ├────────────|─────────────── | ───────── 1.txt ├────────────|─────────────── | ───────── 2.txt ├────────────|─────────── extrinsics ├────────────|─────────────── | ───────── 0.txt ├────────────|─────────────── | ───────── 1.txt ├────────────|─────────────── | ───────── 2.txt ├────────────|─────────── train_pic ├────────────|─────────────── | ───────── camera_extrinscs_00000N.json ├────────────|─────────────── | ───────── cameraX_0000N.png ├────────────|─────────────── | ───────── lidar_0000N.ply ├────────────|─────────── test_pic ├────────────|─────────────── | ───────── offset_left_0m (dont exist, run generate_offset_0_test.py) ├────────────|─────────────── | ─────────────── | ───────── camera_extrinscs_00000N.json ├────────────|─────────────── | ─────────────── | ───────── cameraX_0000N.png ├────────────|─────────────── | ─────────────── | ───────── lidar_0000N.ply ├────────────|─────────────── | ───────── offset_left_1m ├────────────|─────────────── | ─────────────── | ───────── camera_extrinscs_00000N.json ├────────────|─────────────── | ─────────────── | ───────── cameraX_0000N.png ├────────────|─────────────── | ─────────────── | ───────── lidar_0000N.ply ├────────────|─────────────── | ───────── offset_left_4m ├────────────|─────────────── | ─────────────── | ───────── camera_extrinscs_00000N.json ├────────────|─────────────── | ─────────────── | ───────── cameraX_0000N.png ├────────────|─────────────── | ─────────────── | ───────── lidar_0000N.ply

5. 生成0m偏移的测试集： bash python generate_offset_0_test.py

6. 将训练图像重命名为 train_**，测试图像重命名为 eval_**，以符合NeRFStudio的格式： bash python rename.py

7. 生成 transforms.json 用于NeRF和3D-GS： bash python convert_XLD_transforms.py

8. 注意，根据不同的相机设置和偏移设置，修改参数 num_cams、camera_list 和 offset_meters： python

   多相机，偏移=1m

   generate_json_file(scene_path = data/carla_pic_0603_Town10, num_cams=3, camera_list=[1,0,2], offset_meters=1)

   仅前向相机，偏移=1m

   generate_json_file(scene_path = data/carla_pic_0603_Town10, num_cams=1, camera_list=[0], offset_meters=1)

模型训练

NeRFacto训练

bash cd carla_pic_0603_Town01_cam1

训练

CUDA_VISIBLE_DEVICES=1 ns-train nerfacto --pipeline.model.camera-optimizer.mode off --experiment-name nerfacto_offset_1m nerfstudio-data --eval-mode filename --data ./

评估

CUDA_VISIBLE_DEVICES=2 ns-eval --load-config outputs/nerfacto_offset_1m/nerfacto/2024-06-06_145158/config.yml --output-path ./nerfacto_offset_1/result.json --render-output-path ./nerfacto_offset_1

Instant-NGP训练

bash cd carla_pic_0603_Town01_cam1

训练

CUDA_VISIBLE_DEVICES=0 ns-train instant-ngp --experiment-name instant_ngp_offset_1 nerfstudio-data --eval-mode filename --data ./

评估

CUDA_VISIBLE_DEVICES=0 ns-eval --load-config outputs/instant_ngp_offset_1/instant-ngp/2024-06-06_165753/config.yml --output-path ./instant-ngp_offset_1m/result.json --render-output-path ./instant-ngp_offset_1m

高斯方法训练

Colmap格式数据预处理

运行Python脚本将 transforms.json 转换为3D-GS格式： bash python convert_XLD_transforms.py. # 生成 transforms.json python merge_lidar.py # 合并3D LiDAR点云作为初始化 python transform2colmap.py # 将 transforms.json 转换为colmap格式

创建 images 文件夹并将训练和测试图像链接到其中： bash mkdir -p carla_pic_0603_Town01_cam3/images cd carla_pic_0603_Town01_cam3/images ln -s ../../data/carla_pic_0603_Town01/train_pic/train_camera0_00* ./ && ln -s ../../data/carla_pic_0603_Town01/train_pic/train_camera1_00* ./ ln -s ../../data/carla_pic_0603_Town01/train_pic/train_camera2_00* ./ && ln -s ../../data/carla_pic_0603_Town01/test_pic/offset_left_0m/eval_camera0_00* ./ cd ../../

GaussianPro & 3D-GS训练

bash cd carla_pic_0603_Town01_cam1 CUDA_VISIBLE_DEVICES=0 python train.py -s carla_pic_0603_Town01_cam1 -m ./carla_pic_0603_Town01_cam1/output --position_lr_init 0.000016 --scaling_lr 0.001 --percent_dense 0.0005 --port 1021 --eval

搜集汇总

数据集介绍

构建方式

XLD数据集的构建基于Carla模拟器生成的多视角图像和LiDAR点云数据。首先，通过解压缩包含图像和点云的压缩文件，获取原始数据。随后，下载并解压内参和外参文件，并将其移动到相应的文件夹中。数据集的组织结构包括训练和测试图像、内参和外参文件，以及LiDAR点云数据。通过运行特定的Python脚本，如`generate_offset_0_test.py`和`rename.py`，生成测试集并重命名图像文件，以符合NeRFStudio的格式要求。最后，使用`convert_XLD_transforms.py`脚本生成适用于NeRF和3D-GS的`transforms.json`文件。

特点

XLD数据集的显著特点在于其跨车道的视角合成能力，提供了多样化的视角和偏移设置，适用于多种相机配置和场景。数据集包含了丰富的内参和外参信息，以及高精度的LiDAR点云数据，为三维重建和视角合成提供了坚实的基础。此外，数据集支持多种深度学习模型的训练，包括UC-NeRF、EmerNeRF、NeRFacto和Instant-NGP，以及高斯方法如GaussianPro和3D-GS，使其在自动驾驶和计算机视觉领域具有广泛的应用潜力。

使用方法

使用XLD数据集时，首先需按照README文件中的步骤进行数据预处理，包括解压缩文件、移动内参和外参文件，并运行相关Python脚本以生成测试集和重命名图像。随后，根据具体需求选择合适的模型进行训练，如UC-NeRF、EmerNeRF、NeRFacto、Instant-NGP或高斯方法。训练过程中，可根据不同的相机设置和偏移参数调整模型配置。训练完成后，可使用提供的评估脚本对模型进行评估，并生成渲染结果。数据集的灵活性和多样性使其适用于多种研究和应用场景。

背景与挑战

背景概述

XLD数据集，由Hao Li、Ming Yuan等研究人员于2024年创建，旨在为新颖驾驶视图合成提供一个跨车道的基准数据集。该数据集的核心研究问题是如何在复杂的交通环境中生成高质量的驾驶视图，这对于自动驾驶和增强现实应用具有重要意义。XLD数据集的发布不仅推动了视图合成技术的发展，也为相关领域的研究提供了宝贵的资源。

当前挑战

XLD数据集在构建过程中面临多重挑战。首先，跨车道的视图合成需要处理复杂的场景变换和视角差异，这对数据采集和处理提出了高要求。其次，数据集的构建涉及大量的图像和传感器数据，如何高效地进行数据预处理和标注是一个重要挑战。此外，为了适应不同的训练模型，如NeRFStudio和Gaussian Splatting，数据集需要进行多种格式的转换，这增加了数据处理的复杂性。

常用场景

经典使用场景

在自动驾驶领域，XLD数据集的经典使用场景主要集中在驾驶视图合成技术的评估与优化。该数据集通过提供多视角、多车道的图像数据，使得研究人员能够模拟和生成不同驾驶环境下的视图，从而提升自动驾驶系统的感知能力和决策效率。通过结合NeRFStudio和Gaussian Splatting等先进方法，XLD数据集为开发更精确、更逼真的驾驶视图合成模型提供了坚实的基础。

衍生相关工作

XLD数据集的发布催生了一系列相关研究工作，特别是在驾驶视图合成和自动驾驶技术领域。许多研究者基于该数据集开发了新的模型和算法，如改进的NeRFStudio和Gaussian Splatting方法，这些方法在提升驾驶视图合成精度和效率方面取得了显著进展。此外，XLD数据集还激发了对多视角数据处理和深度感知技术的深入研究，推动了自动驾驶领域整体技术水平的提升。这些衍生工作不仅丰富了学术研究的内容，也为实际应用提供了更多可能性。

数据集最近研究

最新研究方向

在自动驾驶领域，XLD数据集的最新研究方向主要集中在驾驶视图合成技术的优化与评估。该数据集通过提供多视角、多场景的驾驶图像和相关参数，支持了基于NeRF（神经辐射场）和Gaussian Splatting等先进方法的模型训练。研究者们致力于改进这些方法在复杂道路环境中的表现，特别是在处理不同车道和视角变换时的精确度。此外，XLD数据集的引入也促进了自动驾驶系统在视觉感知和路径规划方面的性能提升，为实现更安全、更智能的自动驾驶技术奠定了基础。