SHIFT

SHIFT是一个由苏黎世联邦理工学院创建的大型合成驾驶数据集，专注于连续多任务域自适应。该数据集包含4850个序列，覆盖了从云量、雨雾强度到时间和车辆行人密度的多种环境变化。SHIFT数据集通过其全面的传感器套件和主流感知任务的标注，允许研究者探索感知系统性能在域移位增加时的退化情况，从而推动连续适应策略的发展，评估模型鲁棒性和通用性。数据集的应用领域包括自动驾驶中的域泛化、域适应和不确定性估计，旨在解决自动驾驶系统在不断变化环境中的安全性和适应性问题。SHIFT is a large-scale synthetic driving dataset developed by ETH Zurich, focusing on continuous multi-task domain adaptation. This dataset comprises 4850 sequences, covering a diverse set of environmental variations spanning cloud cover, rain/fog intensity, time of day, as well as the densities of vehicles and pedestrians. Equipped with a comprehensive sensor suite and annotations for mainstream perception tasks, the SHIFT dataset enables researchers to investigate the degradation of perception system performance with intensified domain shift, thereby facilitating the advancement of continuous adaptation strategies and supporting the evaluation of model robustness and generalizability. The application scenarios of this dataset include domain generalization, domain adaptation and uncertainty estimation in autonomous driving, with the goal of addressing the safety and adaptability issues faced by autonomous driving systems in dynamically changing environments.

搜集汇总

数据集介绍

构建方式

SHIFT数据集通过CARLA模拟器收集数据，包含了一个全面的传感器套件，包括多视图RGB相机集、立体RGB相机集、光流传感器、深度相机、GNSS传感器和IMU。数据集在8个不同的地点捕获了4800多个序列，每个序列包含500帧，以10Hz的频率同步捕获。此外，数据集还提供了由128通道LiDAR传感器捕获的点云数据。所有传感器均以10Hz的频率同步捕获。

特点

SHIFT数据集的特点在于其包含了离散和连续的领域偏移，涵盖了云量、降雨和雾的强度、一天中的时间、车辆和行人的密度等方面的变化。数据集提供了丰富的标注，包括2D/3D边界框轨迹、实例/语义分割、光流和密集深度等信息。与真实世界数据集相比，SHIFT提供了更广泛的标注和条件，支持13种感知任务的多任务驾驶系统。

使用方法

SHIFT数据集可用于研究感知系统的泛化能力和可靠性，例如领域泛化、领域适应和不确定性估计。数据集中的连续领域偏移允许研究连续测试时间学习和适应。此外，数据集还支持多任务学习，例如语义分割、深度估计、目标检测和跟踪等。SHIFT数据集还可用于评估不同适应策略和不确定性估计方法在连续偏移下的性能。

背景与挑战

背景概述

在自动驾驶技术迅速发展的今天，感知系统对于环境变化的适应性成为了至关重要的研究课题。SHIFT数据集，由Sun et al.于2021年提出，旨在解决现有数据集无法捕捉真实世界动态变化的问题。该数据集在CARLA模拟器中生成，包含了多种传感器数据，以及对于多个主流感知任务的详细标注。SHIFT数据集的特点在于它模拟了真实世界中云量、降雨和雾强度、一天中的时间、车辆和行人密度的离散和连续变化，从而为自动驾驶感知系统的研究提供了一个平台，以评估和改进模型在不断增加的领域变化下的性能，促进连续适应策略的发展，以缓解领域变化带来的问题，并评估模型的鲁棒性和泛化能力。

当前挑战

尽管SHIFT数据集在自动驾驶领域的研究中具有重要作用，但它也面临着一些挑战。首先，数据集的合成性质可能无法完全模拟真实世界的复杂性。其次，数据集的规模和多样性虽然是目前最大的，但仍可能不足以涵盖所有可能的领域变化。此外，连续领域变化的引入为模型带来了新的挑战，如测试时适应（Continuous TTA）和灾难性遗忘（catastrophic forgetting）。这些问题需要进一步的研究和解决方案，以提高自动驾驶系统的安全性、鲁棒性和泛化能力。

常用场景

经典使用场景

SHIFT 数据集被广泛应用于自动驾驶系统的感知算法研究中。其丰富的多任务标注和多样化的传感器配置，使其成为评估和改进自动驾驶系统在不同环境条件下的性能的理想平台。特别是在模拟连续的多任务领域适应策略方面，SHIFT 数据集提供了独特的优势。通过在模拟环境中引入离散和连续的领域变化，例如云量、降雨和雾的强度、时间、车辆和行人密度等，SHIFT 数据集能够帮助研究者评估感知系统的性能下降，并促进连续适应策略的发展，以减轻领域变化带来的影响，并评估模型的鲁棒性和泛化能力。

解决学术问题

SHIFT 数据集解决了自动驾驶领域中感知系统在遇到新的环境条件时性能下降的问题。传统的图像和视频驾驶数据集无法捕捉到现实世界中环境的可变性。SHIFT 数据集通过提供多种环境条件下的数据，包括不同的天气、时间、车辆和行人密度等，为研究者提供了一个评估和改进感知系统泛化能力的平台。此外，SHIFT 数据集还支持连续的领域变化，这对于研究持续学习策略在自动驾驶中的应用具有重要意义。

衍生相关工作

SHIFT 数据集的发布促进了自动驾驶领域的一系列相关研究。例如，基于 SHIFT 数据集的研究可以探索领域泛化、领域适应和不确定性估计等关键问题。此外，SHIFT 数据集还可以用于开发新的持续学习策略，以适应不断变化的环境条件。通过研究 SHIFT 数据集，研究者可以更好地理解自动驾驶系统在不同环境条件下的性能表现，并开发出更安全的自动驾驶车辆。