WayveScenes101

WayveScenes101数据集由Wayve机构创建，专注于自动驾驶领域的新视角合成技术。该数据集包含101个多样化的驾驶场景，每个场景20秒，总计101,000张图像，涵盖多种环境条件和驾驶情况。数据集的创建过程中，使用了COLMAP技术获取相机姿态，并提供了详细的场景元数据。该数据集主要用于评估和提升自动驾驶场景中的新视角合成模型的性能，特别是在动态和复杂环境下的重建能力。

The WayveScenes101 dataset, developed by the Wayve organization, focuses on novel view synthesis technology in the field of autonomous driving. This dataset includes 101 diverse driving scenarios, each lasting 20 seconds, with a total of 101,000 images covering various environmental conditions and driving situations. During the dataset creation process, COLMAP technology was used to obtain camera poses, and detailed scene metadata is provided. This dataset is primarily utilized to evaluate and improve the performance of novel view synthesis models in autonomous driving scenarios, especially their reconstruction capabilities in dynamic and complex environments.

原始信息汇总

WayveScenes101 数据集

数据集简介

WayveScenes101 数据集旨在推动自动驾驶应用中的新视角合成和场景重建研究。该数据集包含多样化的、高分辨率的图像和相应的相机姿态，涵盖了多种地点、交通状况和环境条件。

关键特点

• 场景多样性：101个高度多样化的驾驶场景，每个场景20秒
• 图像数量：101,000张图像（101个场景 x 5个相机 x 20秒 x 10帧每秒）
• 录制地点：美国和英国
• 相机配置：5个时间同步的相机
• 评估相机：独立的评估相机用于测量离轴重建质量
• 场景属性：提供场景级别的属性，用于细粒度模型评估
• 集成框架：简单集成到NerfStudio框架

场景多样性

场景包括以下条件：

• 天气：晴天、多云、阴天、雨天、雾天
• 道路类型：高速公路、城市、住宅区、乡村、道路施工
• 时间：白天、低太阳、夜晚
• 动态对象：车辆、行人、自行车、动物
• 光照变化：交通灯、曝光变化、镜头光晕、反射

数据集下载

数据集可通过Google Drive下载：

bash pip install gdown gdown --folder 1XXlhGut7c5PVeBj4qwORlHoGdeSYxGgt -O /path/to/wayve_scenes_101 --remaining-ok

数据集使用

查看和检查数据集的教程位于 tutorial/dataset_usage.ipynb。

相机图像

记录设备包含5个时间同步的相机，相机名称如下：

• front-forward
• left-forward
• right-forward
• left-backward
• right-backward

相机信息

• 快门：滚动快门
• 畸变模型：鱼眼畸变
• 分辨率：1920 x 1080像素
• 时间分辨率：10 Hz
• 校准：提供所有场景的外参和内参校准，以及度量相机姿态

掩码

数据集提供所有图像的二进制掩码，用于模糊车牌和面部，以及标记自车可见区域。

引用

BibTeX @misc{zürn2024wayvescenes101datasetbenchmarknovel, title={WayveScenes101: A Dataset and Benchmark for Novel View Synthesis in Autonomous Driving}, author={Jannik Zürn and Paul Gladkov and Sofía Dudas and Fergal Cotter and Sofi Toteva and Jamie Shotton and Vasiliki Simaiaki and Nikhil Mohan}, year={2024}, eprint={2407.08280}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2407.08280}, }

搜集汇总

数据集介绍

构建方式

WayveScenes101数据集通过精心挑选的101个驾驶场景构建而成，每个场景持续20秒，涵盖了多种环境条件和驾驶情境。数据集包括101,000张图像，这些图像由安装在车辆上的五台摄像机同步拍摄，并使用COLMAP技术获取了相应的相机姿态。此外，数据集还提供了详细的场景元数据，包括天气、时间、交通状况等信息，以支持模型在特定场景下的性能评估。

特点

WayveScenes101数据集的显著特点在于其场景的多样性和复杂性，包括动态和可变形元素，如行人、车辆和植被，以及快速变化的照明条件和显著的遮挡。这些特性使得该数据集成为评估新视角合成模型在真实驾驶环境中泛化能力的重要工具。此外，数据集还包含一个专门用于测试的离轴相机，以评估模型在非训练视角下的重建质量。

使用方法

WayveScenes101数据集主要用于评估自动驾驶领域中新视角合成模型的性能。使用者可以利用数据集中的图像和相机姿态进行模型训练，并通过离轴相机视角进行模型评估，以测试其在新视角下的重建能力。数据集提供的详细元数据还可以用于定制化的模型评估，例如在特定天气或交通条件下的性能分析。

背景与挑战

背景概述

WayveScenes101数据集由Wayve公司于2024年发布，旨在推动自动驾驶领域中新视角合成技术的研究。该数据集包含了101个多样化的驾驶场景，涵盖了从城市到高速公路等多种环境条件，每个场景持续20秒，共包含101,000张图像。WayveScenes101的核心研究问题是如何在复杂的驾驶环境中实现高质量的新视角合成，特别是在动态和可变形元素较多的场景中。该数据集不仅提供了图像数据，还包含了通过COLMAP生成的相机姿态信息，以及详细的场景元数据，如天气、时间和交通状况等。这些信息为模型在不同条件下的性能评估提供了基础，同时也为自动驾驶领域的研究提供了新的基准。

当前挑战

WayveScenes101数据集在构建过程中面临了多项挑战。首先，驾驶场景中的动态元素，如行人、车辆和变化的交通信号，增加了场景重建的复杂性。其次，动态光照条件，如镜头光晕和快速曝光变化，对模型的光照建模能力提出了高要求。此外，由于相机安装在车辆上，视角受限，导致大量遮挡问题，进一步增加了重建难度。最后，数据集的设计需要确保模型在训练视角之外的视角上具有良好的泛化能力，这对模型的几何理解和视角变换能力提出了挑战。

常用场景

经典使用场景

WayveScenes101数据集的经典使用场景主要集中在自动驾驶领域中的新视角合成任务。该数据集通过提供101个多样化的驾驶场景，涵盖了城市、郊区、高速公路等多种环境，以及不同的天气和光照条件，为研究者提供了一个全面的测试平台。这些场景中包含了大量的动态和可变形元素，如行人、车辆和植被，使得模型能够在复杂的真实世界环境中进行新视角合成的训练和评估。

衍生相关工作

WayveScenes101数据集的发布激发了大量相关研究工作，特别是在新视角合成和自动驾驶领域的交叉研究。基于该数据集，研究者们开发了多种新视角合成算法，并提出了新的评估方法，以更好地衡量模型在复杂驾驶场景中的泛化能力。此外，该数据集还促进了多模态数据融合和动态场景重建等方向的研究，推动了自动驾驶技术的整体发展。

数据集最近研究

最新研究方向

在自动驾驶领域，WayveScenes101数据集的最新研究方向主要集中在复杂驾驶场景中的新颖视角合成（Novel View Synthesis）。该数据集通过包含101个多样化的驾驶场景，涵盖了从城市到高速公路的不同环境条件，以及动态和可变形元素的挑战，推动了场景重建技术的发展。研究者们利用该数据集进行模型评估，特别是在训练视角之外的视角重建质量的测量，这对于自动驾驶系统在实际应用中的泛化能力至关重要。此外，数据集提供了详细的元数据，如天气、时间和交通状况，使得研究者能够针对特定场景条件进行模型性能的深入分析和优化。WayveScenes101的推出不仅填补了现有数据集在动态场景重建方面的空白，还为自动驾驶技术的进一步研究和应用提供了坚实的基础。

相关研究论文

• WayveScenes101: A Dataset and Benchmark for Novel View Synthesis in Autonomous Driving

  Wayve · 2024年