WayveScenes101 Dataset

我们发布WayveScenes101数据集，以推动自动驾驶应用中新视图合成和场景重建的研究。该数据集包含一系列高分辨率图像和相应的摄像机姿态，涵盖了不同地点、交通条件和环境条件的场景。该数据集特别针对驾驶场景的新视图合成模型应用，并提供现有数据集中不常见的特性。数据集提供不同地点、环境条件和驾驶情况的场景。每台摄像机每秒10帧的高帧率，特别适用于动态场景的更精确场景重建。我们还提供了一个保留的评估摄像机，用于专门测量离轴重建质量，这对于评估新视图合成模型的泛化能力至关重要。此外，我们为每个场景提供元数据，以允许对特定场景（如夜间或雨天）的模型性能进行详细分解。

We release the WayveScenes101 dataset to advance research in novel view synthesis and scene reconstruction for autonomous driving applications. This dataset comprises a series of high-resolution images along with corresponding camera poses, encompassing scenes from various locations, traffic conditions, and environmental settings. Specifically tailored for the application of novel view synthesis models in driving scenarios, it offers features not commonly found in existing datasets. The dataset provides scenes from different locations, environmental conditions, and driving situations. With a high frame rate of 10 frames per second per camera, it is particularly suitable for more accurate scene reconstruction in dynamic environments. Additionally, we include a reserved evaluation camera specifically designed to measure off-axis reconstruction quality, which is crucial for assessing the generalization capabilities of novel view synthesis models. Furthermore, metadata is provided for each scene to allow detailed breakdowns of model performance in specific scenarios, such as nighttime or rainy conditions.

原始信息汇总

WayveScenes101 数据集概述

数据集目的

WayveScenes101 数据集旨在推动自动驾驶应用中的新视角合成和场景重建研究。该数据集包含多样化的高分辨率图像和相应的相机姿态，涵盖了不同地点、交通条件和环境条件下的场景。

关键特性

• 场景多样性：包含101个高度多样化的驾驶场景，每个场景持续20秒。
• 图像数量：总计101,000张图像（101场景 x 5相机 x 20秒 x 10帧每秒）。
• 录制地点：美国和英国。
• 相机配置：5个时间同步相机，包括一个独立的保留评估相机用于测量离轴重建质量。
• 场景属性：提供场景级属性，用于细粒度的模型评估。
• 集成支持：简单集成于NerfStudio框架。

场景多样性

• 天气：晴天、多云、阴天、雨、雾。
• 道路类型：高速公路、城市、住宅区、乡村、道路施工。
• 时间：白天、低阳光、夜间。
• 动态代理：车辆、行人、自行车手、动物。
• 动态光照：交通灯、曝光变化、镜头光晕、反射。

数据集下载

数据集可通过Google Drive下载，支持下载全部或部分场景。

相机信息

• 配置：5个不同方向的相机。
• 技术规格：滚动快门、鱼眼畸变模型、分辨率1920 x 1080像素、时间分辨率10Hz。
• 校准：提供所有场景的外部和内部相机校准，以及度量相机姿态。

数据集元数据

• 名称：WayveScenes101
• 描述：用于新视角合成的自动驾驶数据集。
• 提供者：Wayve Technologies Ltd
• 许可证：WayveScenes101数据集非商业使用许可协议（2024年6月）

搜集汇总

数据集介绍

构建方式

WayveScenes101数据集的构建旨在推动自动驾驶领域中的新视角合成和场景重建研究。该数据集通过在多样化的地理位置、交通状况和环境条件下，采集高分辨率图像及相应的相机姿态数据，形成了101个高度多样化的驾驶场景。每个场景持续20秒，以每秒10帧的速率记录，共计101,000张图像。数据集涵盖了美国和英国的多个地点，并配备了5个时间同步的相机，以及一个用于离轴重建质量测量的独立评估相机。此外，每个场景还附有详细的元数据，以便对模型性能进行细粒度评估。

特点

WayveScenes101数据集的显著特点在于其场景的广泛多样性，包括不同的天气条件（如晴天、多云、雨天、雾天）、道路类型（如高速公路、城市道路、乡村道路）、时间（如白天、黄昏、夜晚）以及动态元素（如车辆、行人、自行车、动物）。此外，数据集还记录了动态光照条件，如交通灯变化、曝光变化等。这些特性使得该数据集在评估新视角合成模型的泛化能力方面具有独特优势，特别是在动态场景中的重建精度。

使用方法

使用WayveScenes101数据集，用户可以通过Google Drive下载完整或部分数据集。下载后，建议使用Anaconda或Miniconda创建并激活Conda环境，然后通过pip安装pytorch3d和wayve_scenes包。数据集的查看和检查可以通过`tutorial/dataset_usage.ipynb`教程进行。对于新视角合成模型的评估，用户可以参考`tutorial/evaluate.ipynb`教程。此外，数据集提供了详细的相机校准信息和二进制掩码，用于图像的匿名化处理，确保数据使用的合规性。

背景与挑战

背景概述

WayveScenes101数据集由Wayve Technologies Ltd于2024年发布，旨在推动自动驾驶领域中的新视角合成和场景重建研究。该数据集包含了101个高度多样化的驾驶场景，每个场景持续20秒，涵盖了美国和英国的不同地理位置、交通状况和环境条件。主要研究人员包括Jannik Zürn、Paul Gladkov等，他们的核心研究问题是如何在自动驾驶应用中实现高质量的新视角合成。该数据集的发布对自动驾驶技术的进步具有重要意义，特别是在动态场景的精确重建方面。

当前挑战

WayveScenes101数据集在构建过程中面临多项挑战。首先，数据集需要捕捉高度多样化的驾驶场景，包括不同的天气、道路类型、时间和动态代理，这要求高精度的传感器和数据处理技术。其次，为了确保新视角合成模型的泛化能力，数据集提供了一个单独的评估摄像头用于测量偏轴重建质量，这对数据采集和校准提出了严格要求。此外，数据集还提供了详细的场景级属性，以便对模型性能进行细粒度评估，这增加了数据标注和管理的复杂性。

常用场景

经典使用场景

WayveScenes101数据集在自动驾驶领域中，主要用于新视角合成和场景重建的研究。其丰富的场景多样性，包括不同天气、道路类型、时间和动态光照条件，为模型提供了广泛的训练数据。通过高帧率的图像捕捉和精确的相机姿态信息，该数据集特别适用于动态场景的重建，尤其是在自动驾驶车辆需要实时处理复杂环境变化的情况下。

实际应用

在实际应用中，WayveScenes101数据集为自动驾驶车辆的视觉系统提供了宝贵的训练和测试资源。通过模拟各种真实世界的驾驶场景，该数据集帮助开发和优化自动驾驶算法，使其能够在多样化和复杂的环境中稳定运行。此外，数据集的高分辨率图像和精确的相机校准信息，为自动驾驶车辆的感知和决策系统提供了可靠的数据支持。

衍生相关工作

基于WayveScenes101数据集，研究者们开发了多种新视角合成和场景重建模型，这些模型在自动驾驶领域取得了显著进展。例如，一些研究利用该数据集的高帧率图像和精确的相机姿态信息，改进了动态场景的重建算法。此外，数据集的多样性场景和详细元数据，也促进了模型在特定环境条件下的性能优化研究，推动了自动驾驶技术的实际应用和商业化进程。