DriveLM-Deficit

DriveLM-Deficit数据集由纽约州立大学水牛城分校和圣母大学构建，包含53895个视频片段，这些视频片段展示了安全关键对象的感知缺陷。数据集旨在通过注释为LLM-based危险推理和运动规划微调提供支持，以增强自动驾驶系统在面临感知缺陷时的安全性。

The DriveLM-Deficit dataset was constructed by the University at Buffalo, The State University of New York and the University of Notre Dame. It contains 53,895 video clips that showcase perceptual deficits of safety-critical objects. This dataset aims to support fine-tuning for LLM-based hazardous reasoning and motion planning via annotations, so as to enhance the safety of autonomous driving systems when facing perceptual deficits.

搜集汇总

数据集介绍

构建方式

DriveLM-Deficit数据集的构建基于DriveLM-GVQA数据集，通过使用PDM-Lite专家进行收集，并使用规则化的注释流程来决定自动驾驶车辆的制动状态。该数据集包含53,895个视频片段，每个片段由五个连续的相机帧组成，以每两步采样一次，形成一个5秒的剪辑，每秒1帧。这些视频片段包含了关于安全关键对象的感知缺失情况，并包含了LLM进行危险推理和运动规划微调的注释。

特点

DriveLM-Deficit数据集的特点是它包含了安全关键对象的感知缺失情况，并提供了LLM进行危险推理和运动规划微调的注释。这使得数据集非常适合用于训练和评估自动驾驶系统在感知缺失情况下的性能。此外，数据集还包含了多种类型的感知缺失情况，包括交通灯、交通标志、行人和自行车等，这使得数据集具有广泛的应用价值。

使用方法

DriveLM-Deficit数据集的使用方法是通过微调一个预先训练的视觉语言模型（如Qwen2VL-2B-Instruct）来提高危险推理和运动规划的准确性。首先，使用LoRA方法对模型进行微调，使其能够更好地理解感知缺失情况下的环境信息。然后，将微调后的模型应用于自动驾驶系统，以实现更安全、更灵活的驾驶控制。

背景与挑战

背景概述

在自动驾驶领域，感知系统的完整性对于确保车辆安全至关重要。然而，由于传感器故障或攻击导致的感知缺失可能会对自动驾驶的安全性造成严重威胁。为了应对这一挑战，研究人员提出了LLM-RCO框架，该框架利用大型语言模型的常识推理能力来增强自动驾驶系统在感知缺失情况下的安全性和鲁棒性。为了支持LLM-RCO框架的训练和应用，研究人员构建了DriveLM-Deficit数据集，该数据集包含53,895个视频片段，涵盖了安全关键对象的缺失情况，并带有对LLM进行危险推理和运动规划微调的注释。DriveLM-Deficit数据集的创建不仅为自动驾驶领域的研究提供了宝贵的资源，也为理解和解决感知缺失带来的安全问题提供了新的视角。

当前挑战

DriveLM-Deficit数据集及相关研究面临的主要挑战包括：1)如何有效地利用大型语言模型的常识推理能力来增强自动驾驶系统在感知缺失情况下的安全性和鲁棒性；2)如何构建一个包含感知缺失情况下的驾驶视频片段和注释的数据集，以支持LLM-RCO框架的训练和应用；3)如何评估LLM-RCO框架在实际道路环境中的性能和安全性。这些挑战需要通过深入的研究和实验来逐步解决，以推动自动驾驶技术的发展和成熟。

常用场景

经典使用场景

在自动驾驶领域，DriveLM-Deficit 数据集被广泛应用于研究和开发自动驾驶车辆在面对感知缺失时的安全驾驶策略。该数据集通过模拟安全关键对象的感知缺失，为研究人员提供了丰富的训练和测试资源，以评估和提升自动驾驶系统的鲁棒性和安全性。

衍生相关工作

基于 DriveLM-Deficit 数据集，研究人员已经开发出多种自动驾驶车辆的安全驾驶策略，如 LLM-RCO 框架，该框架利用大型语言模型的知识和推理能力，通过分析感知缺失区域的潜在风险，生成相应的规划车辆动作，以应对感知缺失的情况。此外，DriveLM-Deficit 数据集也为其他自动驾驶领域的研究提供了宝贵的资源和参考。

数据集最近研究

最新研究方向

随着自动驾驶技术的飞速发展，感知系统的完整性对于确保自动驾驶车辆的安全至关重要。然而，感知系统的部分缺陷可能会对自动驾驶车辆的安全性构成威胁。本研究提出了LLM-RCO框架，该框架利用大型语言模型（LLM）的知识和推理能力，将人类驾驶常识融入自动驾驶系统，以应对感知缺陷。LLM-RCO框架包括四个关键模块：危险推理、短期运动规划器、行动条件验证器和安全约束生成器。这些模块与动态驾驶环境相互作用，使自动驾驶系统能够主动、有意识地控制车辆，从而覆盖原有的控制策略。为了提高在挑战性条件下的安全性，研究人员构建了DriveLM-Deficit数据集，该数据集包含53,895个视频剪辑，展示了安全关键对象的缺陷，并带有LLM-based危险推理和运动规划微调的注释。实验结果表明，配备LLM-RCO的系统在不利驾驶条件下的驾驶性能显著提高，突显了其在对抗感知缺陷方面的潜力。此外，使用DriveLM-Deficit数据集微调的LLM能够在感知缺陷的背景下实现更主动的行动，而不是保守的停车。

相关研究论文

• Combating Partial Perception Deficit in Autonomous Driving with Multimodal LLM Commonsense

  纽约州立大学水牛城分校，圣母大学 · 2025年