nuScenes, Robotcar datasets, DrivingStereo

nuScenes和Robotcar数据集包含多种户外条件下的图像数据，用于深度估计任务。DrivingStereo数据集在雨和雾的条件下进行测试。数据集涵盖了白天、雨、夜间等多种场景，用于训练和评估深度估计模型。

The nuScenes and Robotcar datasets include image data collected under a wide range of outdoor conditions for depth estimation tasks. The DrivingStereo dataset is evaluated under rainy and foggy conditions. All these datasets cover diverse scenarios such as daytime, rainy, and nighttime environments, and are utilized for training and evaluating depth estimation models.

搜集汇总

数据集介绍

构建方式

nuScenes、Robotcar和DrivingStereo数据集的构建采用了多模态传感器融合策略，通过车载摄像头、激光雷达和雷达系统在真实道路场景中同步采集数据。nuScenes数据集在新加坡和波士顿的多样化城市环境中收集了1000个驾驶场景，每个场景包含20秒的连续帧数据，并标注了3D边界框和语义分割信息。Robotcar数据集则专注于牛津地区的重复路线采集，通过在不同季节和天气条件下多次行驶相同路线，构建了具有时间一致性的对比样本。DrivingStereo针对恶劣天气条件下的深度估计挑战，专门采集了雨雾等复杂气象环境下的立体图像对。

使用方法

在使用这些数据集时，研究者可采用多种基准测试协议。nuScenes支持3D目标检测、语义分割和预测任务，其官方划分包含700/150/150个场景分别用于训练、验证和测试。Robotcar推荐按季节划分数据集，支持跨域适应研究。DrivingStereo提供标准化的立体匹配评估指标，包括EPE和D1-all误差。对于自监督深度估计任务，可遵循ManyDepth等工作的预处理流程，将连续帧构建为时空序列，利用光流约束进行训练。所有数据集均提供Python工具包简化数据加载和评估流程。

背景与挑战

背景概述

nuScenes、Robotcar和DrivingStereo是自动驾驶领域广泛使用的多模态数据集，由麻省理工学院、牛津大学等顶尖机构联合开发。nuScenes数据集于2019年发布，包含1000个驾驶场景的丰富传感器数据；Robotcar数据集由牛津大学机器人团队构建，涵盖不同时段的路况数据；DrivingStereo则专注于复杂天气条件下的立体视觉研究。这些数据集通过激光雷达、摄像头等多传感器同步采集，解决了自动驾驶系统在动态环境感知、全天候定位等核心问题上的数据需求，推动了三维目标检测、语义分割等关键技术发展。

当前挑战

这些数据集面临的主要挑战体现在两方面：在应用层面，复杂天气（如雨雾）和光照变化（如夜间）导致传统视觉算法性能显著下降，模型难以学习跨场景的鲁棒特征表示；在构建层面，多传感器标定同步、海量数据标注成本、以及真实场景与合成数据的域差异问题尤为突出。特别是DrivingStereo数据集中雨雾天气的图像退化问题，严重影响了立体匹配和深度估计的精度。此外，动态物体标注的一致性维护、不同城市道路场景的泛化性等也是构建过程中需要解决的关键难题。

常用场景

经典使用场景

nuScenes、Robotcar和DrivingStereo数据集在自动驾驶领域被广泛用于单目深度估计任务，特别是在复杂环境下的鲁棒性研究。这些数据集提供了白天、夜间、雨天和雾天等多种驾驶场景的同步图像和LiDAR数据，使得研究者能够开发并验证在恶劣天气条件下的深度估计算法。例如，论文中提出的合成到真实的自适应框架利用这些数据集的多模态特性，通过运动与结构先验知识，显著提升了模型在夜间和雨天条件下的深度预测精度。

解决学术问题

这些数据集有效解决了自监督深度估计中缺乏真实恶劣天气标注数据的关键问题。传统方法因依赖合成数据或直接迁移白天策略，导致在复杂场景中表现欠佳。通过提供多条件、多时段的真实驾驶数据，研究者能够开发跨域自适应算法，如论文提出的成本体积构建和一致性重加权策略，显著降低了AbsRel和RMSE误差（分别提升7.5%和4.3%），为异构环境下的统一表征学习提供了基准平台。

实际应用

在实际应用中，这些数据集支撑了自动驾驶系统在极端天气下的环境感知能力开发。例如，基于nuScenes训练的模型可识别夜间低光照下的道路标志，或通过DrivingStereo的雾天数据优化障碍物检测。论文中的结构先验约束模块直接应用于真实路测场景，解决了雨雾导致的深度估计模糊问题，为无人驾驶车辆的安全导航提供了关键技术保障。

数据集最近研究

最新研究方向

在自动驾驶和计算机视觉领域，nuScenes、Robotcar和DrivingStereo数据集的最新研究方向聚焦于自监督深度估计在复杂室外环境下的鲁棒性提升。针对昼夜、雨雾等多样化场景中深度估计的挑战，研究者们提出了从合成数据到真实数据的迁移学习框架，通过引入运动和结构先验知识来捕捉真实世界的有效信息。这一方向不仅解决了传统方法在恶劣条件下表现不佳的问题，还通过创新的真实适应阶段，设计了基于一致性重加权和结构先验约束的策略，显著提升了模型在nuScenes和Robotcar数据集上的性能，平均在AbsRel和RMSE指标上分别提升了7.5%和4.3%。此外，该框架在DrivingStereo数据集上的零样本评估中也展现了优异的泛化能力，为自动驾驶系统在多变环境中的安全运行提供了重要技术支持。

相关研究论文

• Synthetic-to-Real Self-supervised Robust Depth Estimation via Learning with Motion and Structure Priors

  新加坡国立大学, 华南人工智能与数字经济广东省实验室（深圳）, 电子科技大学, 山东大学控制科学与工程学院 · 2025年