CARLA-GEAR

CARLA-GEAR是由意大利比萨圣安娜高等学校的卓越机器人与人工智能学院开发的数据集生成工具，旨在为自动驾驶场景中的视觉任务提供对抗性鲁棒性评估。该数据集包含10个不同的攻击场景，通过在模拟环境中添加对抗性补丁来生成数据，用于评估和比较不同的对抗防御/检测方法。数据集的创建过程涉及在CARLA模拟器中模拟真实世界的对抗攻击，通过Python API控制模拟环境，生成高分辨率的RGB图像和相应的地面实况标签。CARLA-GEAR的应用领域主要集中在自动驾驶技术中，特别是在评估和提高基于视觉感知的系统的安全性方面。

CARLA-GEAR is a dataset generation tool developed by the School of Advanced Robotics and Artificial Intelligence at Scuola Superiore Sant'Anna, Pisa, Italy, designed to provide adversarial robustness evaluation for visual tasks in autonomous driving scenarios. This dataset includes 10 distinct attack scenarios, generating data by adding adversarial patches in simulated environments, and is used to evaluate and compare different adversarial defense or detection methods. The dataset creation process involves simulating real-world adversarial attacks within the CARLA simulator, controlling the simulation environment via the Python API, and producing high-resolution RGB images alongside corresponding ground-truth labels. The application fields of CARLA-GEAR are primarily concentrated in autonomous driving technology, specifically in evaluating and improving the safety of vision-based perception systems.

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，对抗性攻击对视觉模型的鲁棒性构成严峻挑战。CARLA-GEAR数据集通过集成CARLA模拟器的Python API，构建了一套自动化生成高保真合成数据的流程。该工具首先配置攻击场景，如广告牌或卡车后部的对抗性贴片位置，随后在虚拟城市环境中迭代放置车辆与传感器，采集RGB图像及对应任务的真实标注。数据生成过程涵盖语义分割、单目深度估计、二维与三维立体目标检测四大视觉任务，并支持对抗性贴片的优化与渲染，确保数据集在可控条件下模拟真实世界的物理攻击。

特点

CARLA-GEAR数据集的核心特点在于其系统性与灵活性。它专为评估视觉模型对抗物理对抗性贴片的鲁棒性而设计，覆盖自动驾驶中多种关键感知任务。数据集包含多样化的攻击场景，如固定广告牌与移动卡车贴片，并采用先进的白盒攻击策略生成贴片，以最大化目标模型的预测误差。此外，数据集遵循标准格式（如CityScapes、COCO、Kitti），便于直接利用现有评估框架与数据加载器，同时提供相机参数与贴片位置信息，支持防御方法的精准评估。

使用方法

该数据集的使用旨在系统评估对抗性防御与检测方法的性能。研究人员可首先利用CARLA-GEAR生成包含对抗性贴片与无贴片的对照数据集，随后针对特定视觉任务（如语义分割或目标检测）测试目标神经网络的鲁棒性。通过比较模型在攻击场景下的性能指标（如mIoU、mAP、RMSE），可量化对抗性影响。同时，数据集支持自定义贴片优化与场景配置，便于开展针对性实验，为构建标准化对抗性防御基准提供数据基础。

背景与挑战

背景概述

在自动驾驶领域，对抗性攻击已成为深度神经网络面临的重要安全威胁，尤其是物理世界中的对抗性补丁攻击，能够通过现实环境中的恶意扰动误导视觉模型，对安全关键系统构成严重风险。CARLA-GEAR数据集由意大利圣安娜大学的研究团队于2022年提出，旨在填补现有研究中缺乏系统性评估对抗性鲁棒性数据集的空白。该数据集基于CARLA模拟器构建，通过其Python API自动生成高真实感的合成数据，覆盖语义分割、单目深度估计、二维及三维立体目标检测等四项视觉任务，为评估自动驾驶场景下神经模型的对抗鲁棒性及防御方法性能提供了标准化工具。其核心研究问题聚焦于物理对抗攻击的仿真与评估，推动了对抗性安全研究向可控、可复现的实验环境迈进，对提升自动驾驶系统的安全性具有显著影响力。

当前挑战

CARLA-GEAR数据集致力于解决自动驾驶视觉模型在物理对抗攻击下的鲁棒性评估问题，其核心挑战在于如何在高真实感仿真环境中有效模拟现实世界的对抗性扰动。具体而言，构建过程中面临多重挑战：首先，生成对抗性补丁需优化以最大化目标模型的预测误差，同时保持补丁在多种视角和光照条件下的鲁棒性，这对算法设计提出了较高要求；其次，数据集生成过程计算密集，尤其在语义分割等高分辨率任务中耗时显著，需平衡生成效率与数据质量。此外，模拟图像与真实训练数据之间存在分布偏移，可能导致模型性能评估偏差，而现有评估指标（如mAP）未能完全捕捉对抗性补丁的实际影响，亟需开发更精准的专用度量标准以支持基准测试的建立。

常用场景

经典使用场景

在自动驾驶视觉模型的对抗鲁棒性评估领域，CARLA-GEAR数据集通过生成高真实感的合成图像，为系统化测试物理对抗补丁的影响提供了经典场景。该工具基于CARLA模拟器，构建了包含广告牌或卡车背部贴附对抗补丁的驾驶环境，覆盖语义分割、单目深度估计、二维及三维立体目标检测四大视觉任务，使研究者能够在可控且安全的虚拟世界中，模拟真实道路中可能遭遇的恶意攻击情境。

解决学术问题

CARLA-GEAR主要解决了自动驾驶视觉模型在物理对抗攻击下鲁棒性评估缺乏标准化数据集的学术难题。传统研究多集中于数字对抗样本，而物理世界的攻击因环境变量复杂难以系统测试。该数据集通过生成多样化的攻击场景与精确的地面真值标注，使得研究者能够量化模型在对抗补丁干扰下的性能衰减，并为不同防御方法的比较提供了统一基准，从而推动对抗机器学习在安全关键系统中的实证研究进展。

衍生相关工作

基于CARLA-GEAR衍生的经典工作主要集中在对抗防御与检测方法的创新上。例如，研究团队利用该数据集评估了Z-Mask、FPDA、LGS及HyperNeuron等防御算法在多种视觉任务中的有效性，推动了物理对抗补丁检测技术的比较与优化。此外，该工具启发了后续研究扩展攻击类型，如针对特定目标的黑盒攻击，并为构建自动驾驶对抗鲁棒性基准测试平台提供了数据基础，促进了该领域的标准化发展。