ApolloScape、Cityscapes等12个数据集

该数据集包括12个公开的urbane场景数据集和7个off-road场景数据集，涵盖了388230和18558张图像。这些数据集来源于不同的机构，包含不同的标签体系，通过教师模型进行伪标签标注，并统一到源数据集的标签空间中，创建了一个用于自动驾驶的最大复合数据集。数据集包含了多种类型的场景，旨在解决语义分割中的标签体系不一致和标签标注政策差异导致的问题。

This dataset includes 12 publicly available urban scene datasets and 7 off-road scene datasets, which contain 388,230 and 18,558 images respectively. These datasets are sourced from various institutions, adopt distinct label taxonomies, were pseudo-labeled using teacher models, and then unified into a shared label space, creating the largest composite dataset dedicated to autonomous driving. The dataset covers a wide range of scene types, aiming to address the issues caused by inconsistent label systems and disparities in annotation guidelines in semantic segmentation.

搜集汇总

数据集介绍

构建方式

为了应对不同数据集在语义分割领域标签空间和标注政策不一致的问题，该数据集采用了一种知识蒸馏的方法，同时也作为标签空间统一的方法。首先，在源数据集上训练一个教师模型，然后利用该模型对具有相关标签空间存在地面真实标签的额外数据进行伪标签。通过将相关分类法映射到源分类法，我们在模型可以预测伪标签的约束内创建。使用改进的伪标签，我们训练学生模型，这些模型在两个具有挑战性的领域，即城市和越野驾驶中始终优于其教师模型。我们的地面真实校正伪标签跨越了12个和7个公共数据集，分别具有388,230和18,558张图像的城市和越野领域，创造了迄今为止最大的自动驾驶复合数据集。

特点

该数据集的特点在于其标签空间的统一性和数据的一致性。通过教师模型生成伪标签，解决了不同数据集之间分类重叠和分类粒度差异的问题。此外，该数据集还通过伪标签校正了源数据集中的标注错误，如ApolloScape数据集中由于激光雷达半自动化标注方法导致的缺失标签。这使得学生模型能够在多个数据集上进行训练，从而提高了模型的泛化能力和准确性。

使用方法

使用该数据集的方法包括以下步骤：首先，在源数据集上训练一个教师模型；其次，使用教师模型对具有相关标签空间存在地面真实标签的额外数据进行伪标签；然后，将相关分类法映射到源分类法，创建模型预测伪标签的约束；最后，使用改进的伪标签训练学生模型。学生模型可以在多个数据集上进行训练，以提高模型的泛化能力和准确性。

背景与挑战

背景概述

近年来，随着深度学习技术的快速发展，语义分割领域涌现了越来越多的数据集，例如ApolloScape、Cityscapes等。这些数据集为自动驾驶、计算机视觉等领域的研究提供了宝贵的资源。然而，尽管数据总量不断增长，由于不同数据集在分类体系（taxonomy）和标注策略上的不一致性，训练更大、更优的模型仍然面临着挑战。为了解决这一问题，本文提出了一种知识蒸馏方法，该方法同时作为一种标签空间统一的方法，用于语义分割。该方法的核心理念是利用一个教师模型，在源数据集上进行训练，然后利用该模型对具有相关标签空间的其他数据进行伪标注。通过将相关分类体系映射到源分类体系，我们在模型可以预测伪标签的约束范围内创建了一个统一的数据集，从而解决了不同数据集分类体系不一致的问题。

当前挑战

尽管本文提出的方法在解决语义分割领域标签空间不一致问题上取得了显著成果，但仍然面临着一些挑战。首先，如何进一步提高伪标签的准确性是一个关键问题。其次，如何更好地利用不同数据集之间的领域差异，以提高模型的泛化能力和鲁棒性，也是一个需要深入研究的课题。此外，如何更好地理解模型在不同数据集上的表现差异，以及如何选择最优的数据集组合，也是未来研究的重要方向。

常用场景

经典使用场景

在语义分割领域，ApolloScape、Cityscapes等12个数据集被广泛用于训练和评估模型。这些数据集包含大量带有标签的图像，用于训练模型以识别和分类图像中的不同物体和场景。这些数据集的经典使用场景包括城市和越野驾驶领域的模型训练，以实现自动驾驶车辆的环境感知。通过使用这些数据集，研究人员可以训练出具有高精度和高鲁棒性的模型，以适应各种复杂场景。

解决学术问题

ApolloScape、Cityscapes等12个数据集解决了语义分割领域中的一个关键问题：不同数据集之间存在标签空间不一致的问题。由于不同数据集在类别划分和标签政策上存在差异，这使得将不同数据集合并起来训练模型变得困难。该数据集通过知识蒸馏和标签空间统一方法，将不同数据集的标签空间映射到同一标签空间，从而解决了这个问题。此外，该数据集还解决了由于激光雷达辅助半自动标注方法引起的系统误差问题，例如在ApolloScape数据集中，建筑物和天空的标签有时会被错误地分配。

衍生相关工作

ApolloScape、Cityscapes等12个数据集的提出和发展，衍生了许多相关的经典工作。这些工作包括知识蒸馏、标签空间统一、半监督学习和弱监督学习等。这些工作不仅推动了语义分割领域的发展，还为自动驾驶、机器人视觉和图像识别等领域提供了重要的技术支持。例如，Naive Student和Noisy Student等知识蒸馏方法，通过使用教师模型的预测来生成伪标签，从而训练出性能更好的学生模型。这些方法为自动驾驶车辆的感知和识别提供了重要的技术支持。