CADA

CADA数据集由北京航空航天大学等机构创建，包含18,808个对抗性视觉-问答对，旨在评估和增强自动驾驶视觉语言模型（VLM）的鲁棒性。该数据集通过生成对抗性扰动，模拟自动驾驶场景中的高风险情境，帮助研究人员识别和解决模型在复杂驾驶环境中的潜在漏洞。数据集的应用领域主要集中在自动驾驶系统的安全性评估和对抗性攻击防御研究，旨在提升自动驾驶系统的可靠性和安全性。

The CADA dataset, constructed by Beihang University and other affiliated institutions, encompasses 18,808 adversarial visual question-answer pairs. It is primarily intended to evaluate and strengthen the robustness of visual language models (VLMs) deployed in autonomous driving systems. By generating adversarial perturbations to simulate high-risk scenarios within autonomous driving environments, this dataset enables researchers to detect and mitigate potential vulnerabilities of models under complex driving conditions. Its core application domains include safety assessment of autonomous driving systems and adversarial attack defense research, with the ultimate objective of enhancing the reliability and safety of autonomous driving platforms.

搜集汇总

数据集介绍

构建方式

CADA数据集的构建方式旨在模拟真实世界中的对抗性攻击场景，特别是在自动驾驶领域。为了构建这个数据集，研究人员首先提出了Cascading Adversarial Disruption (CAD)攻击框架，该框架包括两个模块：决策链中断和高风险场景诱导。决策链中断模块通过生成并注入具有欺骗性语义的详细文本，针对感知-预测-计划推理链的低级别推理崩溃。高风险场景诱导模块则利用代理VLM来理解和构建高级别的风险场景，这些场景很可能导致当前驾驶环境中的关键错误。通过这两个模块，研究人员能够在多个自动驾驶VLM和基准数据集上生成对抗性视觉-问答对，从而构建了CADA数据集。

使用方法

CADA数据集可用于评估和改进自动驾驶VLM的鲁棒性。研究人员可以利用数据集中的对抗性视觉-问答对来测试VLM在面对对抗性攻击时的性能。此外，数据集还可以用于开发新的防御策略，以保护自动驾驶系统免受对抗性攻击的影响。为了使用CADA数据集，研究人员需要将其集成到他们的评估框架中，并确保他们的模型能够处理数据集中的不同严重级别的对抗性扰动。

背景与挑战

背景概述

随着自动驾驶技术的发展，视觉语言模型（VLMs）在提升自动驾驶系统的推理能力方面取得了显著进展。然而，这些模型对对抗攻击的高度易感性仍然是一个主要问题。尽管现有研究已经探索了白盒攻击，但更实际和具有挑战性的黑盒场景，其中既不知道模型架构也不了解参数，由于自身的难度而很少被探索。在这篇论文中，作者们迈出了设计专门针对自动驾驶中视觉语言模型（VLMs）的黑盒对抗攻击的第一步。他们确定了在这个背景下实现有效黑盒攻击的两个关键挑战：在自动驾驶系统中的驾驶推理链的有效性以及驾驶场景的动态性质。为了解决这些问题，他们提出了级联对抗干扰（CAD）方法。该方法首先引入了决策链干扰，通过生成和注入欺骗性语义来针对低级推理崩溃，确保干扰在整个决策链中保持有效。在此基础上，他们提出了风险场景诱导，通过利用代理VLM来理解和构建可能导致当前驾驶环境中关键错误的高级风险场景，从而解决动态适应性。在多个自动驾驶VLM和基准上进行的广泛实验表明，CAD实现了最先进的攻击有效性，平均优于现有方法13.43%。此外，他们通过在由VLM驱动的自动驾驶车辆上进行现实世界的攻击，验证了其实际适用性，其中路线完成率下降了61.11%，并且车辆直接撞上了带有对抗性补丁的障碍车辆。最后，他们发布了CADA数据集，包含18,808个对抗性视觉-问答对，以促进该关键领域的进一步评估和研究。

当前挑战

该数据集相关的挑战包括：1) 在自动驾驶系统中的驾驶推理链的有效性，即攻击是否能够有效地传播和放大错误，以对整个系统构成协调和强大的威胁；2) 驾驶场景的动态性，即攻击是否能够适应自动驾驶中的动态环境，确保引起的错误能够在特定上下文中损害驾驶安全。为了解决这些挑战，作者们提出了级联对抗干扰（CAD）方法，该方法的决策链干扰模块和风险场景诱导模块分别针对低级推理崩溃和高级动态适应性。此外，他们还通过语义差异最大化作为补充增强，并共同优化对抗目标，生成能够引发错误行为的对抗性视觉输入，从而实现对VLM自动驾驶系统的无目标攻击。

常用场景

经典使用场景

CADA数据集主要用于评估和提升视觉语言模型（VLM）在自动驾驶（AD）中的鲁棒性。该数据集包含18,808个对抗性的视觉问答对，旨在模拟黑盒攻击，即攻击者对模型架构和参数一无所知。通过在图像中注入微小的扰动，CADA数据集能够测试VLM在面对对抗性样本时的表现，从而揭示模型在自动驾驶场景中的潜在漏洞。

解决学术问题

CADA数据集解决了自动驾驶中视觉语言模型对对抗性攻击的鲁棒性问题。现有的研究主要集中在白盒攻击，即攻击者拥有模型内部信息，而黑盒攻击则更接近现实情况，因为攻击者无法访问模型细节。CADA数据集通过提供对抗性样本，帮助研究人员评估模型在面对未知攻击时的表现，从而推动自动驾驶系统的安全性和可靠性。

实际应用

CADA数据集的实际应用场景包括自动驾驶系统的安全性评估和鲁棒性提升。通过对VLM进行对抗性测试，CADA数据集可以帮助识别和修复模型中的安全漏洞，从而提高自动驾驶系统的可靠性和安全性。此外，CADA数据集还可以用于开发新的防御策略，以保护自动驾驶系统免受对抗性攻击。

数据集最近研究

最新研究方向

CADA数据集的最新研究方向主要集中在针对自动驾驶领域视觉语言模型（VLM）的黑盒对抗攻击。这一研究旨在解决现有VLM在自动驾驶系统中的推理能力提升与对抗攻击易感性之间的矛盾。CADA数据集通过引入决策链破坏和风险场景诱导，实现了在自动驾驶推理链和动态驾驶场景中对VLM的有效攻击。CADA数据集的发布为该领域的研究提供了宝贵的资源，有助于评估和提高自动驾驶VLM的鲁棒性。

相关研究论文

• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving

  北京航空航天大学, 新加坡国立大学, 中国航空工业发展研究中心, 南洋理工大学 · 2025年