Waymo Open Dataset|自动驾驶数据集|机器感知数据集

Waymo开放数据集公开发布，旨在帮助研究社区在机器感知和自动驾驶技术方面取得进步，由感知数据集和运动数据集组成。感知数据集包含2,030个场景的高分辨率传感器数据和标签，运动数据集包含103,354个场景的对象轨迹和相应的3D地图。

The Waymo Open Dataset has been publicly released with the aim of advancing the research community in the fields of machine perception and autonomous driving technology. It consists of a perception dataset and a motion dataset. The perception dataset includes high-resolution sensor data and labels from 2,030 scenes, while the motion dataset contains object trajectories and corresponding 3D maps from 103,354 scenes.

原始信息汇总

数据集概述

数据集名称

• Waymo Open Dataset

数据集组成

• Perception Dataset
  • 数据量：包含2,030个场景
  • 数据类型：高分辨率传感器数据及标签
• Motion Dataset
  • 数据量：包含103,354个场景
  • 数据类型：对象轨迹及相应的3D地图

数据集更新历史

• April 2024 Update
  • 允许使用冻结的预训练模型权重进行模型训练，用于挑战赛提交。
  • 更新了提交元数据中的新字段，以跟踪参与者生成提交的方式。
• March 2024 Update
  • Perception Dataset (v1.4.3 and v2.0.1)
    • 改进了3D语义分割地面实况标签，特别是摩托车手类别。
  • Motion Dataset (v1.2.1)
    • 提供了包括多个方向的相机数据，数据为预训练VQ-GAN模型提取的图像令牌和图像嵌入。
    • 修复了初始发布中LiDAR数据与道路图输入之间的对齐问题。
• December 2023 Update
  • 发布了v1.6.1版本的pip包，修复了WOSAC指标的bug。
• August 2023 Update
  • 发布了一个大规模的对象中心资产数据集，包含超过1.2M的图像和激光雷达观测。
• March 2023 Update
  • Perception Dataset (v2.0.0)
    • 引入了模块化格式，允许用户选择性下载所需组件。
  • Motion Dataset (v1.2.0)
    • 增加了训练集的LiDAR数据，并提供了相应的教程和支持代码。
• December 2022 Update
  • 发布了v1.4.1版本的Perception数据集，改进了2D视频全景分割标签的质量。
• June 2022 Update
  • 发布了v1.4.0版本的Perception数据集，增加了2D视频全景分割标签及支持代码。
• March 2021 Update
  • 扩展了Waymo Open Dataset，包括Motion数据集，支持新的数据集。

数据集许可

• 数据集本身根据Waymo数据集非商业使用许可协议授权，详情请访问Waymo Open Dataset Terms。

数据集提供者

• 组织名称：Waymo
• 组织链接：Waymo Wikipedia

数据集引用信息

• Perception Dataset
  • 引用文献：Sun_2020_CVPR
• Motion Dataset
  • 引用文献：Ettinger_2021_ICCV

数据集详细信息

Perception Dataset

• 版本：v1.4.3, v2.0.1
• 更新内容：
  • 改进了3D语义分割地面实况标签，特别是摩托车手类别。

Motion Dataset

• 版本：v1.2.1
• 更新内容：
  • 提供了包括多个方向的相机数据，数据为预训练VQ-GAN模型提取的图像令牌和图像嵌入。
  • 修复了初始发布中LiDAR数据与道路图输入之间的对齐问题。

数据集使用许可

• 许可名称：Waymo Dataset License Agreement for Non-Commercial Use (August 2019)
• 许可详情链接：Waymo Open Dataset Terms

AI搜集汇总

数据集介绍

构建方式

Waymo Open Dataset的构建基于Waymo自动驾驶车辆在多种复杂环境下的高分辨率传感器数据采集。该数据集分为感知数据集和运动数据集两部分。感知数据集包含2,030个场景的高分辨率传感器数据和标注，而运动数据集则包含103,354个场景的对象轨迹和相应的3D地图。数据集的构建过程涉及多传感器数据的同步采集、标注以及地图数据的生成，确保了数据的高质量和多样性。

特点

Waymo Open Dataset的特点在于其数据的高分辨率和多样性，涵盖了从城市到乡村的多种驾驶环境。感知数据集提供了丰富的传感器数据，包括摄像头和激光雷达，以及详细的标注信息，如3D物体检测和语义分割。运动数据集则提供了对象轨迹和3D地图，支持复杂的运动预测和路径规划任务。此外，数据集的持续更新和扩展确保了其时效性和广泛的应用价值。

使用方法

Waymo Open Dataset的使用方法包括数据下载、预处理和模型训练。用户可以通过Waymo官方网站访问数据集，并根据需求选择下载感知或运动数据集的特定部分。数据集提供了详细的教程和代码示例，帮助用户进行数据预处理和模型训练。特别是，数据集支持多种挑战任务，如3D物体检测、运动预测和模拟代理，用户可以通过参与这些挑战来验证和提升自己的算法性能。

背景与挑战

背景概述

Waymo Open Dataset，由Waymo公司于2020年发布，旨在推动机器感知和自动驾驶技术的发展。该数据集由感知数据集和运动数据集组成，前者包含2,030个场景的高分辨率传感器数据和标签，后者则包含103,354个场景的对象轨迹和相应的3D地图。Waymo Open Dataset的发布标志着自动驾驶领域的一个重要里程碑，为研究人员提供了丰富的数据资源，以促进算法和模型的创新与优化。

当前挑战

Waymo Open Dataset在构建过程中面临多项挑战。首先，数据集的规模庞大，涉及多种传感器数据的高效处理和标注，确保数据的准确性和一致性是一项艰巨任务。其次，自动驾驶技术的复杂性要求数据集不仅包含静态环境信息，还需捕捉动态对象的行为和交互，这对数据采集和标注提出了更高的要求。此外，数据集的更新和维护也是一个持续的挑战，确保数据集始终反映最新的技术进展和实际应用需求。

常用场景

经典使用场景

在自动驾驶领域，Waymo Open Dataset 的经典使用场景主要集中在感知和运动预测两个方面。感知数据集通过高分辨率传感器数据和标注，为研究人员提供了丰富的场景信息，用于开发和验证物体检测、分类和跟踪算法。运动数据集则通过对象轨迹和3D地图，支持运动预测和路径规划的研究，帮助提升自动驾驶系统的决策能力。

实际应用

在实际应用中，Waymo Open Dataset 为自动驾驶技术的开发和测试提供了宝贵的资源。感知数据集的高分辨率图像和激光雷达数据，被广泛应用于车辆感知系统的训练和验证，提高了车辆在复杂环境中的识别和避障能力。运动数据集则支持路径规划和运动预测算法的开发，确保自动驾驶车辆在各种交通场景中的安全性和效率。

衍生相关工作

Waymo Open Dataset 的发布催生了大量相关的经典工作。在感知领域，研究人员利用该数据集开发了多种先进的物体检测和跟踪算法，显著提升了自动驾驶系统的感知能力。在运动预测方面，基于该数据集的研究推动了多模态数据融合和深度学习技术的发展，为自动驾驶车辆的路径规划和决策提供了新的解决方案。此外，该数据集还激发了关于数据隐私和安全性的讨论，促进了相关法规和标准的制定。