ApolloCar3D

ApolloCar3D是由百度研究院创建的大型3D汽车实例理解基准数据集，专为自动驾驶研究设计。该数据集包含5,277张驾驶图像和超过60,000个汽车实例，每个汽车实例都配备了工业级的3D CAD模型，并带有绝对模型尺寸和语义标记的关键点。数据集的规模远超现有的PASCAL3D+和KITTI数据集。创建过程中，考虑了2D-3D关键点对应关系和多个实例间的3D关系，以实现高效的标注。该数据集主要用于自动驾驶领域的3D汽车理解和姿态估计研究，旨在解决自动驾驶中的3D物体识别和姿态估计问题。

ApolloCar3D is a large-scale 3D automotive instance understanding benchmark dataset developed by Baidu Research, tailored specifically for autonomous driving research. Comprising 5,277 driving images and over 60,000 car instances, each instance in this dataset is paired with industrial-grade 3D CAD models, absolute model dimensions, and semantically annotated key points. The scale of ApolloCar3D significantly outperforms existing datasets including PASCAL3D+ and KITTI. During the dataset construction, 2D-3D key point correspondence and 3D spatial relationships between multiple instances were taken into account to facilitate efficient annotation. This dataset is primarily dedicated to 3D automotive understanding and pose estimation research in the autonomous driving domain, with the goal of solving the challenges of 3D object recognition and pose estimation in autonomous driving scenarios.

搜集汇总

数据集介绍

构建方式

ApolloCar3D数据集源自公开的ApolloScape数据集，从约20万张语义分割图像中精心筛选出5,277张高分辨率驾驶图像。为确保多样性，选取的图像覆盖了高速公路、城区道路及交叉口等多种场景，且每张图像间隔不少于10帧。构建过程中，团队聘请专业建模师手工创建了34个工业级精度的3D CAD车辆模型，涵盖轿车、SUV、MPV等主流车型。标注流程采用半自动方式：人工标注66个预定义的语义关键点后，利用EPnP算法结合RANSAC鲁棒估计初始姿态与形状，再通过上下文感知的共面约束优化相邻车辆间的位姿关系，最终经人工校验确保重投影误差与边界偏移均小于5像素。

特点

该数据集包含超过6万个车辆实例，平均每张图像含11.7辆车，远高于KITTI的4.8辆。每辆车均配有绝对尺度的3D CAD模型和66个精细语义关键点，关键点密度远超此前数据集。数据覆盖了长距离、严重遮挡及多样朝向的车辆分布，且提供了立体图像对用于深度估计。相较于PASCAL3D+和KITTI，其规模超出20倍以上，并首次在自动驾驶场景中实现了完整的3D形状标注，弥补了现有数据集仅提供3D边界框或实验室采集的不足。

使用方法

该数据集支持两类基线方法：直接回归法基于Mask R-CNN分割结果，通过全卷积网络回归车辆的深度、旋转角与PCA形状参数，并引入掩膜池化与偏移流机制提升精度；关键点法利用CPM检测2D关键点，通过EPnP求解初始位姿后，再采用上下文感知求解器利用共面约束优化邻近车辆的位姿。评估采用新提出的A3DP指标，联合考量3D形状、平移与旋转的精度，并设置从宽松到严格的多个阈值。数据已划分为训练集（4,036张）、验证集（200张）和测试集（1,041张），便于公平比较。

背景与挑战

背景概述

在自动驾驶领域，从单目图像中恢复车辆的三维位姿与形状是计算机视觉的一项核心挑战，其研究成果直接关乎智能驾驶系统的环境感知能力与安全性。然而，长期以来该领域受限于缺乏大规模、高精度且带有丰富三维标注的真实场景数据集。为弥补这一空白，百度研究院联合加州大学圣地亚哥分校、澳大利亚国立大学等机构于2018年推出了ApolloCar3D数据集。该数据集从ApolloScape中精选5277张高分辨率驾驶图像，包含超过6万个车辆实例，每辆车均配有工业级三维CAD模型、66个语义关键点及绝对尺寸信息，其规模较当时最先进的PASCAL3D+与KITTI数据集高出20倍以上。ApolloCar3D的发布为三维车辆理解提供了坚实的数据基石，显著推动了基于深度学习的单目三维感知技术发展，并催生了如A3DP联合评价指标等创新评估体系。

当前挑战

ApolloCar3D所面临的挑战涵盖领域问题与构建过程两个层面。在领域问题层面，现有方法在从单目图像中联合估计车辆的三维平移、旋转与形状时，深度预测的歧义性、远距离目标的稀疏特征以及严重遮挡下的几何推理困难仍是核心瓶颈；同时，如何设计兼顾位姿与形状精度的统一度量标准亦缺乏共识。在数据集构建层面，挑战尤为突出：为60K+车辆实例逐一生成高精度三维CAD模型成本极高，需聘请专业建模师手动构建34类主流车型；标注过程中，面对复杂交通场景中的重度遮挡与截断，传统PnP算法易失效，故需设计上下文感知的共面约束联合优化策略；此外，确保66个语义关键点在密集标注下的语义一致性，并控制重投影误差低于5像素，对标注人员的专业性与流程可靠性提出了严苛要求。

常用场景

经典使用场景

在自动驾驶领域，精确理解道路环境中车辆的三维属性是确保行车安全的核心挑战之一。ApolloCar3D数据集专为从单目图像中恢复车辆的3D位姿与形状而设计，其经典使用场景涵盖从复杂城市街道到高速路段的多种驾驶情境。研究者可借助该数据集训练深度神经网络，实现车辆实例的精准3D检测与重建，尤其是在遮挡、截断及远距离等困难条件下，弥补了以往数据集规模小、标注粗糙的不足。

实际应用

在实际应用中，ApolloCar3D直接服务于自动驾驶汽车的视觉感知系统。通过训练基于单目摄像头的3D车辆理解模型，智能车辆能够在无需昂贵激光雷达的情况下，实时估计前方车辆的精确位置、朝向与外形，从而支持路径规划、碰撞预警和自适应巡航等关键功能。此外，该数据集提供的立体图像对和语义标签还可拓展至深度估计、光流计算等任务，为多传感器融合方案提供丰富的数据基础。

衍生相关工作

基于ApolloCar3D，研究者已发展出多种经典基线算法。例如，直接回归方法借鉴3D-RCNN架构，通过掩膜池化与偏移流技术提升位姿预测精度；关键点驱动方法则受DeepMANTA启发，利用卷积姿态机检测2D关键点并结合上下文感知的PnP求解器，实现更鲁棒的3D对齐。这些工作不仅验证了数据集的有效性，还催生了新的评估指标如A3DP，能够联合考量形状与位姿质量，为后续研究树立了标杆。