Fisheye Parking Dataset (FPD)

Fisheye Parking Dataset (FPD) 是首个针对停车场景的大规模鱼眼数据集，由宗木科技创建。该数据集包含超过40万张鱼眼图像，覆盖三个城市的上百个停车场，具有高度的多样性和高质量。FPD专注于多种自动驾驶任务，如2D物体检测、单目3D物体检测和深度估计，旨在解决停车场环境下的复杂感知问题，推动自动驾驶技术在实际场景中的应用。

Fisheye Parking Dataset (FPD) is the first large-scale fisheye dataset tailored for parking scenarios, developed by Zongmu Technology. This dataset includes over 400,000 fisheye images, covering hundreds of parking lots across three cities, and exhibits high diversity and superior quality. FPD focuses on a range of autonomous driving tasks such as 2D object detection, monocular 3D object detection and depth estimation, with the goal of addressing complex perception challenges in parking environments and promoting the real-world deployment of autonomous driving technologies.

搜集汇总

数据集介绍

构建方式

FPD 数据集的构建过程涉及数据收集、数据标注、数据描述和突出特点等环节。数据收集阶段，研究人员从三个城市的超过一百个停车场，分别记录了白天和夜晚的超过四百个视频，以及相应的点云序列。数据标注阶段，研究人员对数据集中的每个对象进行了 2D 和 3D 框的标注，并使用深度补全方法创建了更鲁棒的深度真值。数据描述阶段，FPD 数据集包含了超过 400,000 个数据，包括四个鱼眼图像和一个点云序列，以及相应的内参、外参和鱼眼畸变参数。数据集被分为训练集、验证集和测试集，比例分别为 5:3:2。FPD 数据集的特点包括：1）是首个针对停车场景的鱼眼数据集，专注于多个自动驾驶任务，如 2D 目标检测、3D 目标检测、BEV 感知和深度估计等；2）数据量巨大，包含超过 400,000 个数据，可以满足不同场景的需求；3）数据质量高且多样化，涵盖了不同的城市、不同的时间段和不同的停车情况；4）多用途，不仅可以用于 2D 目标检测、3D 目标检测和深度估计等任务，还可以用于点云 3D 目标检测、2D 或 3D 语义分割、视频目标检测等任务。

特点

FPD 数据集具有以下特点：1）是首个针对停车场景的鱼眼数据集，专注于多个自动驾驶任务，如 2D 目标检测、3D 目标检测、BEV 感知和深度估计等；2）数据量巨大，包含超过 400,000 个数据，可以满足不同场景的需求；3）数据质量高且多样化，涵盖了不同的城市、不同的时间段和不同的停车情况；4）多用途，不仅可以用于 2D 目标检测、3D 目标检测和深度估计等任务，还可以用于点云 3D 目标检测、2D 或 3D 语义分割、视频目标检测等任务。

使用方法

FPD 数据集可以用于多种自动驾驶任务，如 2D 目标检测、3D 目标检测、BEV 感知和深度估计等。使用方法包括：1）将点云标注投影到图像上，以获取 2D 目标边界框和深度真值；2）将数据集分为训练集、验证集和测试集，以进行模型训练和评估；3）使用轻量级设计，以满足实时感知的需求；4）使用 fisheye 畸变模块，以提高模型的鲁棒性；5）将模型部署到嵌入式系统中，以实现实时感知。

背景与挑战

背景概述

随着自动驾驶技术的发展，自动泊车场景中的环境感知成为一项关键任务。现有的数据集如KITTI、Cityscapes等主要针对高速公路和城市道路，而自动泊车场景具有其独特的挑战，如光照不足、透明度不高等问题，这对感知性能产生了显著影响。此外，鱼眼相机在提供更广视野的同时，也带来了明显的径向畸变，进一步增加了周围环境识别的难度。为了解决这些问题，Zizhang Wu等人于2022年创建了Fisheye Parking Dataset (FPD)数据集，该数据集专注于自动泊车场景中的环境感知任务，包括2D目标检测、3D目标检测、BEV感知和深度估计。FPD数据集包含超过40万张鱼眼图像，涵盖了不同停车场、不同时间段和不同停车条件，为自动泊车场景的环境感知研究提供了宝贵的数据资源。

当前挑战

FPD数据集和相关研究面临的主要挑战包括：1) 鱼眼畸变带来的挑战：鱼眼相机固有的径向畸变导致图像出现明显的形变，这使得周围环境的识别变得更加复杂。2) 自动泊车场景的挑战：自动泊车场景具有其独特的环境特点，如光照不足、透明度不高等问题，这给感知算法带来了更大的困难。3) 数据集构建的挑战：FPD数据集的构建需要考虑鱼眼畸变的处理、数据质量保证、数据标注等多个方面，这需要投入大量的时间和精力。

常用场景

经典使用场景

在自动驾驶领域，停车的环境感知是至关重要的。传统的公共数据集在光照和透明度等方面与停车场环境存在差异，导致感知性能下降。Fisheye Parking Dataset (FPD) 作为第一个针对停车场景的大型鱼眼数据集，旨在推动自动驾驶在停车场环境下的感知研究。FPD 包含超过 40 万张鱼眼图像，涵盖了不同的停车场、时间段和停车条件，为多种感知任务提供了高质量的训练数据。

衍生相关工作

FPD 衍生了一系列相关的研究工作，例如 Fisheye Perception Network (FPNet)，它是一个实时、抗畸变的鱼眼感知多任务网络框架，用于 2D 目标检测、单目 3D 目标检测、BEV 感知和单目密集深度估计等任务。FPNet 在 FPD 上取得了优异的性能，并已被应用于实际的自动驾驶系统中。

数据集最近研究

最新研究方向

在自动驾驶领域，环绕视角鱼眼感知在代客泊车场景中至关重要。然而，停车场环境与普通公共数据集存在差异，如光照不完整和透明度问题，这显著影响了感知性能。现有基于公共数据集的网络在代客泊车场景中可能产生次优结果，并受到鱼眼失真的影响。本文介绍了一个新的名为Fisheye Parking Dataset (FPD)的大型鱼眼数据集，以促进研究者在处理多样化的现实世界环绕视角泊车案例方面的研究。该数据集具有以下特点：大规模数量、高度多样性、高质量和多用途。此外，还提出了一个实时失真不变的多任务框架Fisheye Perception Network (FPNet)，通过增强鱼眼失真操作和多任务轻量级设计来提高环绕视角鱼眼BEV感知。广泛实验验证了该方法的有效性和数据集的优异性能。

相关研究论文

• Surround-view Fisheye BEV-Perception for Valet Parking: Dataset, Baseline and Distortion-insensitive Multi-task Framework

  宗木科技 · 2022年