SynWoodScape

SynWoodScape是由鲁昂诺曼底大学等机构创建的合成环绕视图鱼眼相机数据集，专为自动驾驶应用设计。该数据集包含80,000张图像，涵盖多种感知任务，如语义分割、实例分割和深度估计等。创建过程中，研究团队在CARLA模拟器中复现了WoodScape数据集的配置，并生成了精确的像素级光学流和深度图等标注。SynWoodScape数据集的应用领域广泛，旨在解决自动驾驶中的近场感知问题，特别是在自动泊车和城市驾驶等场景中。

SynWoodScape is a synthetic surround-view fisheye camera dataset created by institutions including the University of Rouen Normandy, specifically designed for autonomous driving applications. This dataset contains 80,000 images covering multiple perception tasks such as semantic segmentation, instance segmentation, depth estimation, and others. During its development, the research team replicated the configuration of the WoodScape dataset in the CARLA simulator, and generated precise pixel-level annotations including optical flow and depth maps. The SynWoodScape dataset has wide-ranging application scenarios, aiming to tackle near-field perception challenges in autonomous driving, particularly in scenarios like automatic parking and urban driving.

搜集汇总

数据集介绍

构建方式

SynWoodScape 数据集是通过在 CARLA 模拟器中复制 WoodScape 数据集的相机设置和校准参数构建的。首先，利用 WoodScape 数据集的校准模型，将 360° 全景图像转换为立方体贴图表示，并通过射线追踪计算像素映射，生成具有 190° 视场的鱼眼图像。其次，利用模拟器提供的精确位置和旋转信息，计算场景流并将其投影到图像平面上，得到像素级的深度图、光流和事件相机信号等地面真实数据。此外，还利用深度图、3D 边界框和语义分割标签，开发了一种基于射线追踪的工具，用于计算实例分割。最后，通过比较连续帧中对象的位移，构建运动分割标签。

特点

SynWoodScape 数据集具有以下特点：1) 包含 80k 帧合成数据，是目前最大的用于自动驾驶感知的鱼眼图像数据集；2) 复制了 WoodScape 数据集的相机设置和校准参数，方便两者结合使用；3) 提供了像素级的深度图、光流和事件相机信号等地面真实数据，这在真实场景中难以获得；4) 提供了鸟瞰视图任务的地面真实数据，包括分割、占用流和高度图等；5) 创建了鱼眼事件相机信号，用于评估稀疏事件信号算法，这是同类数据集中首次出现；6) 提供了 9 种不同的天气和光照条件，以及 155 个推荐的车辆生成点，场景丰富多样。

使用方法

SynWoodScape 数据集可用于自动驾驶感知相关的任务，例如目标检测、语义分割、实例分割、运动分割、深度估计、光流估计、事件相机信号处理等。用户可以根据需要选择不同的任务进行训练和测试。此外，数据集还提供了基准代码和相关的工具，方便用户进行数据处理和模型评估。

背景与挑战

背景概述

环绕视图鱼眼相机作为自动驾驶领域的关键传感器，在近场感知中发挥着重要作用。SynWoodScape数据集作为WoodScape数据集的合成版本，旨在解决真实场景中难以获取像素级光流和深度等地面真值的问题。该数据集由Ahmed Rida Sekkat等人于2023年1月发布，包含80k张图像，涵盖了10多个任务，如语义分割、实例分割、运动分割、深度图、光流、事件相机信号、2D/3D边界框、激光雷达数据和雷达数据等。SynWoodScape数据集的创建为自动驾驶领域的研究提供了宝贵的资源，并推动了相关技术的发展。

当前挑战

SynWoodScape数据集在构建过程中也面临一些挑战。首先，由于鱼眼相机存在高径向畸变，标准算法难以直接应用于该数据集。其次，虽然SynWoodScape提供了像素级光流和深度等地面真值，但将这些数据应用于真实场景仍存在一定的差距。此外，SynWoodScape数据集的规模和多样性还有待进一步提升，以满足更广泛的研究需求。

常用场景

经典使用场景

SynWoodScape数据集作为自动驾驶领域的重要资源，主要用于训练和评估近场感知算法。它包含80k帧合成数据，涵盖了多种任务，如语义分割、实例分割、运动分割、深度图、光流、事件相机信号、2D/3D边界框、激光雷达数据、雷达数据、IMU和GNSS数据。数据集模拟了真实环境中的多种场景，包括城市道路、行人、车辆、天气和光照条件，为研究人员提供了丰富的训练和测试数据。

实际应用

SynWoodScape数据集在实际应用中具有重要的价值。它可以帮助自动驾驶汽车更好地理解周围环境，进行精确的物体检测和跟踪，以及进行路径规划和决策。此外，数据集还可以用于训练其他领域的视觉感知算法，如视频监控和增强现实。

衍生相关工作

SynWoodScape数据集的发布，衍生了许多相关的经典工作。例如，Omnidet框架就是基于SynWoodScape数据集进行训练和评估的，它是一个基于环视相机的多任务视觉感知网络，用于自动驾驶。此外，数据集还促进了近场感知算法的进一步研究，例如深度估计、光流估计和事件相机信号处理等。