differentiable-render-camouflage-data

DRC CARLA 多车辆伪装数据集是一个经审计的合成数据集和几何资源集合，用于研究可微车辆伪装生成器在不同车辆形状间的迁移性。该数据集包含 Stage 2 和 Stage 3 两组图像，以及几何资产和协议记录。Stage 2 在 Town10 环境下采集，包含奥迪 e-tron、特斯拉 Model 3、福特 Mustang 和吉普牧马人（训练车）、丰田普锐斯（验证车）以及林肯 MKZ 2017（开发保留车）的 864 个样本，每个样本为 1152×1152 像素的图像。Stage 3 包含日产 Patrol 2021（结果密封确认车）的 144 个样本，使用相同的 144 视角网格。几何资产包括攻击 UV 的 OBJ 文件、二进制攻击掩码、物体位置图和物体法线图，覆盖 7 种车辆。协议记录包含分割清单、收集计划、预注册、审计和门控决策，以版本化 JSON 格式存储。每个样本为 NumPy 对象数组，包含 7 个字段：图像、背景、掩码、差异、标签、相机位置和元数据。数据集划分语义明确：丰田用于验证集选择，林肯为开发保留，日产为冻结的阴性确认车辆，不得用于调参。数据集提供 SHA-256 校验和以验证完整性。该数据集仅供防御性研究、基准测试和可重复性研究使用，不适用于宣称广泛的车辆、检测器、天气、地图或物理迁移有效性。数据以 CC BY 4.0 许可发布，场景和车辆资产衍生自 CARLA 0.9.15。The DRC CARLA Multi-Vehicle Camouflage Dataset is an audited collection of synthetic datasets and geometric resources for researching the transferability of differentiable vehicle camouflage generators across different vehicle shapes. This dataset includes two sets of images from Stage 2 and Stage 3, as well as geometric assets and protocol records. Stage 2 was collected in the Town10 environment, containing 864 samples featuring Audi e-tron, Tesla Model 3, Ford Mustang, Jeep Wrangler (training vehicles), Toyota Prius (validation vehicle), and Lincoln MKZ 2017 (development held-out vehicle), with each sample being a 1152×1152 pixel image. Stage 3 contains 144 samples of Nissan Patrol 2021 (frozen negative confirmation vehicle) using the same 144-view grid. The geometric assets include OBJ files with attacked UV coordinates, binary attack masks, object position maps, and object normal maps, covering 7 types of vehicles. The protocol records include segmentation inventories, collection plans, pre-registrations, audit reports, and gatekeeping decisions, stored in versioned JSON format. Each sample is a NumPy object array with 7 fields: image, background, mask, difference, label, camera pose, and metadata. The dataset has clearly defined splits: Toyota Prius is used for validation set selection, Lincoln MKZ 2017 is held out for development, and Nissan Patrol 2021 is a frozen negative confirmation vehicle that must not be used for hyperparameter tuning. SHA-256 checksums are provided to verify dataset integrity. This dataset is exclusively intended for defensive research, benchmarking, and reproducibility studies, and shall not be used to claim broad validity of vehicles, detectors, weather conditions, maps, or physical transfer. The dataset is released under the CC BY 4.0 license, and its scenarios and vehicle assets are derived from CARLA 0.9.15.

原始信息汇总

DRC CARLA 多车辆伪装数据集

数据集概览

该数据集是用于研究可微分车辆伪装生成器是否能在不同车辆形状间迁移的审计合成数据及几何资产，主要面向对抗鲁棒性研究，包括对负面结果的分析。

数据集规模与内容

组件	内容	样本数	状态
Stage 2 Town10	训练：Audi E-Tron、Tesla Model 3、Ford Mustang、Jeep Wrangler Rubicon；验证：Toyota Prius；开发保留：Lincoln MKZ 2017	864	已审计
Stage 3 Town10	Nissan Patrol 2021（结果封存的确认车辆）	144	已审计；源检测器确认失败
几何资产	攻击UV OBJ、二值攻击掩码、物体位置图、物体法线图	7辆车	哈希审计
协议记录	分割清单、采集计划、预注册、审计、门控决策	N/A	版本化JSON

数据格式与采集

• Stage 2图像尺寸为 1152 x 1152，每辆车包含144个不同的相机位置；
• Stage 3在Town10HD_Opt/ClearNoon环境下采用相同的144视角网格采集；
• 每个样本为NumPy对象数组，包含7个有序字段：图像、背景、掩码、差异、标签、相机位置和元数据；
• 加载需使用 numpy.load(path, allow_pickle=True)。

分割语义

• Toyota Prius：验证车辆，用于检查点选择；
• Lincoln MKZ 2017：训练未见但方法开发中已查询，属于开发保留集而非封存的最终测试集；
• Nissan Patrol 2021：冻结的负面确认车辆，不得用于调整架构、目标函数、检查点、视角或种子。

数据完整性

目录级SHA-256清单：

• Stage 2：4ac82a74b0c9c8b0918b93b911997b12f6401f3cbd4b0c18914125e715faea67
• Stage 3：89844aa31bd9ca1803b29bb2bddc5379dc8e3ad049c6e4448ce81fbc24dc5c3f

样本聚合SHA-256：

• Stage 2：a1e355159dc4425159d47bc3a88941e60877ca22bd6e8071942873725fd3c04c
• Stage 3：81fa63944b61bc44e28c412331d42507d2db774319db9e1372bd0772f56be3aa

原始数据发布标签为 raw-v1-20260803。

局限性与用途说明

• 数据来自有限的CARLA地图、天气、检测器和相机协议，不能证明物理世界有效性或安全性；
• 已发布的检查点未对封存的Nissan车辆产生实质性攻击效果，且门控失败后未进行保留检测器评估；
• 不得使用该数据集在没有新证据的情况下声称广泛的车辆、检测器、天气、地图或物理迁移能力；
• 仅用于防御性研究、基准测试和可复现性研究。

许可与归属

• 数据集及项目生成的标注以 CC BY 4.0 许可发布；
• 场景和车辆资产源自 CARLA 0.9.15，CARLA特定资产由CARLA项目以CC BY许可分发；
• 需引用并归属CARLA项目：https://github.com/carla-simulator/carla；
• 许可证不涵盖第三方检测器或基础模型权重（有意排除）。

搜集汇总

数据集介绍

构建方式

该数据集基于CARLA仿真器构建，旨在研究可微分车辆伪装生成器在不同车型间的迁移性。构建过程分为两个阶段：Stage 2在Town10地图下采集了四种车型（包括训练和验证车辆）的864个样本，每个车型包含144个不同的摄像机视角；Stage 3则针对Nissan Patrol 2021车型采集了144个样本作为密封的负向确认。数据以NumPy对象数组格式存储，每个样本包含图像、背景、掩码、差异图、标签、摄像机位置和元数据等七个字段。所有原始数据均附有SHA-256校验和，确保数据完整性和可追溯性。

特点

该数据集的核心特点在于其严格的实验设计和密封确认机制。数据划分明确区分了验证车辆（Toyota）、开发保留车辆（Lincoln）和密封确认车辆（Nissan），确保负向结果的可信度。每个样本都包含精确的几何资产（如攻击UV、掩码、位置图和法线图），支持可微分渲染的对抗鲁棒性研究。数据集的审计记录和分箱清单完整，且采用不可变的版本标签，便于复现实验。此外，所有数据均基于CARLA仿真环境，提供了可控的天气、地图和摄像机参数，适合进行系统性的鲁棒性分析。

使用方法

使用时，用户可通过提供的Python工具按需下载特定分片，并验证SHA-256校验和以确保数据完整性。加载样本需使用numpy.load(path, allow_pickle=True)以兼容异构数组和元数据字典。数据集的划分语义严格，Toyota用于验证集，Lincoln用于开发保留，Nissan作为密封测试集，禁止用于任何调参。用户应记录完整的实验提交哈希，而非依赖移动的main分支。该数据集适用于防御性研究、基准测试和可重复性分析，但不应用于声称物理世界有效性或跨场景泛化，除非获得新的证据支持。

背景与挑战

背景概述

该数据集由研究团队于2026年创建，旨在探究可微渲染生成的车辆伪装图案在不同车型间的迁移性。基于CARLA仿真平台，团队系统采集了包含奥迪E-Tron、特斯拉Model 3、福特Mustang等七种车型的合成图像，并通过严格审计的程序构建了多车辆伪装数据集。其核心研究问题在于验证基于单一车型优化的对抗性伪装能否有效应用于未见过的车型，这对于自动驾驶系统的鲁棒性研究具有重要意义。通过公开原始数据、几何资产及完整的协议记录，该数据集为对抗性鲁棒性领域的可重复研究提供了坚实基础，尤其支持对负面结果的分析，推动了仿真到现实迁移研究的严谨性。

当前挑战

该数据集面临的挑战涵盖领域问题与构建过程双重维度。在领域层面，其核心难题在于可微渲染生成的伪装图案对车辆形状的泛化能力不足，已确认对密封验证车辆（日产途乐2021）的攻击效果不显著，揭示了跨车型迁移的固有困难，同时仿真数据难以完全代表物理世界的复杂光照与场景变化，限制了结论的普适性。在构建层面，挑战包括确保数据采集协议的标准化与可审计性，维护跨阶段数据的一致性，以及处理大规模数据存储与校验的技术开销；此外，对验证车辆的选择需避免数据泄漏，确保评估的公正性，这些均对数据集设计的严谨性提出了极高要求。

常用场景

经典使用场景

该数据集聚焦于自动驾驶视觉感知中的对抗性鲁棒性研究，其经典应用在于评估和验证可微渲染生成的车辆伪装图案是否能在不同车型之间迁移攻击效果。通过提供多车辆、多视角的合成图像及精确的几何资产（如攻击UV贴图、掩码、位置和法线图），研究者可系统性地测试对抗样本生成算法的泛化能力，尤其关注从训练车型（如Audi E-Tron）到未见车型（如Nissan Patrol）的迁移失败场景。这一设定为分析对抗攻击的脆弱性提供了严谨的基准，推动了可微渲染在物理世界对抗样本设计中的理论探索。

解决学术问题

该数据集直面当前对抗性机器学习领域的一个核心痛点：对抗样本在虚拟环境中的有效性难以跨车型、跨场景复现，导致攻击算法的鲁棒性评估缺乏可信基准。通过精心设计的分阶段数据收集和结果封存协议，它解决了传统数据集在‘负结果’记录上的缺失问题，使得研究者能够区分方法本身的缺陷与数据偏差带来的影响。其透明的审计记录和哈希校验机制，为学术研究提供了可复现的实验范式，尤其助力于探索可微渲染攻击的迁移边界，深化了对对抗迁移性内在机制的理解。

衍生相关工作

该数据集的发布激发了多项衍生研究，包括基于可微渲染的对抗攻击生成方法的改进，如引入视角一致性约束或物理感知的纹理优化。其‘负结果’确认流程启发了后续工作重新审视攻击迁移评估的实验设计，催生了更严谨的‘封存确认’测试协议。此外，针对该数据集的审计资产，研究者开发了新的伪装检测与防御算法，例如利用位置和法线图进行几何一致性校验，或通过多车型联合训练增强检测器的泛化能力。这些工作共同推动了对抗性机器学习从实验室仿真向实际场景评估的范式演进。