drivelm-pseudo-labels
收藏资源简介：
DriveLM Pseudo-Labels 是一个用于自动驾驶场景视觉问答任务的伪标签数据集。该数据集源于捷克技术大学电气工程学院的一项硕士论文研究，旨在通过生成大规模伪标签来增强现有 DriveLM 数据，以提升视觉问答模型的性能。数据集包含约 10 万条视觉问答对，通过 Qwen3 大语言模型结合思维链推理技术生成。生成过程以 nuScenes 自动驾驶数据集（涵盖波士顿和新加坡场景）的传感器先验信息为基础，包括 2D/3D 边界框、基于 LiDAR 的物体度量深度、多帧跟踪轨迹以及自车状态信息，并严格遵循 DriveLM 原始数据的问题类型分布，覆盖感知、预测、规划和行为四大类别。数据以 JSON 格式组织，每条记录包含唯一 ID、多摄像头图像路径列表、遵循特定格式的人类提问与 AI 回答对话、问题类别以及评估度量类型。除了完整的伪标签语料库文件，数据集还提供了多个已与原始 25k DriveLM 训练数据按不同比例（10%、30%、50%、100%）混合的增强版本文件，其中 10% 混合比例在实验中被证明能最有效地将模型在自定义测试集上的最终评估分数从 0.560 提升至 0.589。该数据集适用于自动驾驶领域的视觉语言模型预训练或微调，特别是用于研究数据增强、伪标签利用以及多模态问答任务。数据集基于 CC BY 4.0 许可证发布，但其底层依赖 nuScenes 数据需遵守相应使用条款。
DriveLM Pseudo-Labels is a pseudo-label dataset for visual question answering tasks in autonomous driving scenarios. It originates from a masters thesis research at the Faculty of Electrical Engineering, Czech Technical University, aiming to enhance existing DriveLM data by generating large-scale pseudo-labels to improve the performance of visual question answering models. The dataset contains approximately 100,000 visual question-answer pairs, generated using the Qwen3 large language model combined with chain-of-thought reasoning. The generation process is based on sensor prior information from the nuScenes autonomous driving dataset (covering Boston and Singapore scenes), including 2D/3D bounding boxes, LiDAR-based object metric depth, multi-frame tracking trajectories, and ego-vehicle state information, and strictly follows the question type distribution of the original DriveLM data, covering four categories: perception, prediction, planning, and behavior. The data is organized in JSON format, with each record containing a unique ID, a list of multi-camera image paths, human-question and AI-answer dialogues following a specific format, question categories, and evaluation metric types. In addition to the complete pseudo-label corpus file, the dataset provides multiple enhanced version files that have been mixed with the original 25k DriveLM training data in different proportions (10%, 30%, 50%, 100%), with the 10% mixing ratio proven in experiments to most effectively improve the models final evaluation score on a custom test set from 0.560 to 0.589. This dataset is suitable for pre-training or fine-tuning vision-language models in the autonomous driving domain, particularly for researching data augmentation, pseudo-label utilization, and multimodal question answering tasks. The dataset is released under the CC BY 4.0 license, but its underlying dependency on nuScenes data requires compliance with corresponding usage terms.
数据集概览
DriveLM Pseudo-Labels 是一个用于自动驾驶场景的视觉问答（VQA）数据集，由 Dmytro Khursenko 的硕士论文工作生成，采用 CC BY 4.0 许可。
核心信息
- 任务类型: 视觉问答（Visual Question Answering）
- 语言: 英语
- 数据规模: 约 98,700 个 VQA 对（100k 伪标签语料库）
- 数据来源: 基于 nuScenes 数据集（波士顿 + 新加坡）的传感器先验数据，使用 Qwen3 模型通过链式思维推理生成
- 标签风格: 遵循 DriveLM 的问题类型分布（感知、预测、规划、行为）
- 最佳效果: 将 10% 的伪标签与 25k 的 DriveLM 训练拆分混合，在 DriveLM Final Score 上从 0.560 提升至 0.589
数据集内容
数据集包含以下文件，每个记录遵循 DriveLM/LLaMA 对话格式：
| 文件 | 记录数 | 描述 |
|---|---|---|
drivelm_pseudo_qas_100k.json |
~98,700 | 完整伪标签语料库 |
train_aug10pct.json |
35,694 | 25k DriveLM + 10% 伪标签（最佳混合） |
train_aug30pct.json |
55,431 | 25k DriveLM + 30% 伪标签 |
train_aug50pct.json |
75,168 | 25k DriveLM + 50% 伪标签 |
train_aug100pct.json |
124,511 | 25k DriveLM + 100% 伪标签 |
每条数据的 JSON 结构包含：
id: 唯一标识（场景标记_帧标记_QA索引）image: 多摄像头图像列表（如 CAM_FRONT.jpg）conversations: 人类提问与 GPT 回答的对话对category: 问题类别（perception / prediction / planning / behavior）metric_type: 评估指标类型（match / chatgpt / accuracy / language）
生成流程
使用来自 nuScenes 的传感器先验数据，输入 Qwen3 模型（扩展链式思维）生成自然语言 VQA 对。输入数据包括：
- 2D/3D 边界框（nuScenes 真值）
- 每目标度量深度（LiDAR 点云投影）
- 跟踪轨迹（多帧目标 ID）
- 自车状态（nuScenes CAN 总线）
覆盖的问题类型：
- 感知: 物体类别、移动状态
- 预测: 轨迹、是/否判断
- 规划: 自车行为、碰撞/安全性
- 行为: 自车驾驶状态
数据增强结果
在定制的 i.i.d. DriveLM-nuScenes 测试集（3,340 个 QA 对）上的评估结果：
| 训练数据 | Final | Acc | ChatGPT | Lang | Match | Coord |
|---|---|---|---|---|---|---|
| LoRA-25k（无增强） | 0.560 | 0.826 | 0.589 | 0.459 | 0.338 | 0.015 |
| LoRA-25k + DL-PL 10% | 0.589 | 0.836 | 0.676 | 0.451 | 0.304 | 0.013 |
| LoRA-25k + DL-PL 30% | 0.548 | 0.832 | 0.605 | 0.434 | 0.264 | 0.008 |
| LoRA-25k + DL-PL 50% | 0.532 | 0.832 | 0.584 | 0.433 | 0.230 | 0.007 |
| LoRA-25k + DL-PL 100% | 0.511 | 0.805 | 0.544 | 0.430 | 0.232 | 0.007 |
评分定义（所有指标归一化至 [0,1]）：
- Accuracy: MCQ/是-否问题的精确匹配（严格格式）
- Language: BLEU-1~4、ROUGE-L、CIDEr/10 的均值
- ChatGPT: GPT-3.5-turbo 语义评分（0-100，Final 中除以 100）
- Match: (F1_coord × 100 + GPT_match) / 2（0-100，Final 中除以 100）
- Coord: L1 < 16px 时的坐标 F1（诊断用，不参与 Final）
- Final: 0.4 × (GPT/100) + 0.2 × Language + 0.2 × (Match/100) + 0.2 × Accuracy
微调模型
| 模型 | Hugging Face 仓库 | Final |
|---|---|---|
| LoRA-25k | https://huggingface.co/dkhursen/InternVL2-2b-LoRA-25k-drivelm | 0.560 |
| LoRA-300k | https://huggingface.co/dkhursen/InternVL2-2b-LoRA-300k-drivelm | 0.493 |
| LoRA-25k + DL-PL 10% ⭐ | https://huggingface.co/dkhursen/InternVL2-2b-LoRA-25k_plus_DL-PL-10pct | 0.589 |
| LoRA-25k + Oracle annotation | https://huggingface.co/dkhursen/InternVL2-2b-LoRA-25k-drivelm-offline-redcircle-ctag-bkgd | 0.775 |
引用
bibtex @mastersthesis{khursenko2026vqa, author = {Khursenko, Dmytro}, title = {Visual Question Answering for Autonomous Driving}, school = {Czech Technical University in Prague, Faculty of Electrical Engineering}, year = {2026}, supervisor = {Hurych, David and Tolias, Georgios} }
bibtex @inproceedings{caesar2020nuscenes, title = {nuScenes: A Multimodal Dataset for Autonomous Driving}, author = {Caesar, Holger and Bankiti, Varun and Lang, Alex H and others}, booktitle = {CVPR}, year = {2020} }
