Intelligent Driving Knowledge Base (IDKB)|自动驾驶数据集|知识库数据集

arXiv2024-09-05 更新2024-09-06 收录

自动驾驶

知识库

下载链接：

https://4dvlab.github.io/project_page/idkb.html

下载链接

链接失效反馈

资源简介：

智能驾驶知识库（IDKB）是由上海科技大学和中国香港中文大学共同创建的，旨在为自动驾驶领域提供专业和系统的驾驶知识。该数据集包含超过一百万条数据，涵盖了15个国家的驾驶手册、理论测试数据和模拟道路测试数据，涉及9种语言和4种车辆类型。数据集的创建过程包括从互联网收集驾驶手册和测试问题，以及使用CARLA模拟器生成实际道路场景数据。IDKB的应用领域主要集中在提升大型视觉语言模型（LVLMs）在自动驾驶中的可靠性和安全性，通过提供结构化的驾驶知识数据，帮助模型更好地理解和应用驾驶规则和技能。

提供机构：

上海科技大学

创建时间：

2024-09-05

AI搜集汇总

数据集介绍

构建方式

IDKB数据集的构建过程模拟了人类获取驾驶执照的系统性学习路径，涵盖了从理论到实践的各个环节。首先，通过互联网收集了来自15个不同国家的206份驾驶手册和交通法规文档，总计23,847页。随后，利用布局检测和光学字符识别（OCR）技术提取数据块，并通过算法对数据块进行聚类和排序，以确保数据的有序性和可读性。此外，通过CARLA模拟器生成了多样化的道路场景数据，包括不同天气、光照和交通条件下的模拟驾驶数据。最终，数据集包含了超过100万条数据项，涵盖了15个国家、9种语言和4种车辆类型，确保了数据的多样性和全面性。

使用方法

IDKB数据集的使用方法主要包括模型训练和性能评估两个方面。首先，研究人员可以使用该数据集对现有的视觉语言模型（LVLMs）进行微调，以增强其在自动驾驶领域的专业知识和技能。其次，数据集可以用于评估模型的驾驶知识掌握程度，通过多选题和问答题的测试，评估模型在理论和实践中的表现。此外，数据集还可以用于开发新的自动驾驶算法，通过模拟和实际数据的结合，提升算法在复杂交通环境中的鲁棒性和可靠性。

背景与挑战

背景概述

智能驾驶知识库（Intelligent Driving Knowledge Base, IDKB）是由上海科技大学和中国香港中文大学的研究人员于近期创建的大规模数据集。该数据集的核心研究问题在于弥补大型视觉语言模型（LVLMs）在专业驾驶知识方面的不足，特别是在交通规则和驾驶技能方面的明确指导。IDKB包含了从多个国家收集的超过一百万条数据，涵盖驾驶手册、理论测试数据和模拟道路测试数据，旨在从理论到实践全面覆盖驾驶所需的显性知识。该数据集的创建对自动驾驶领域具有重要影响力，因为它为评估和提升LVLMs在自动驾驶环境中的可靠性提供了坚实的基础。

当前挑战

IDKB在构建过程中面临的主要挑战包括从多个国家收集和整合驾驶知识数据的复杂性，以及确保数据的高质量和多样性。此外，现有的视觉语言驾驶数据集主要集中在场景理解和决策制定上，缺乏对交通规则和驾驶技能的明确指导，这限制了模型在实际应用中的稳定性和可靠性。IDKB通过提供结构化的驾驶知识数据，旨在解决这些挑战，但其应用仍需克服模型在多语言和多文化环境下的适应性问题，以及在复杂和长尾驾驶场景中的表现。

常用场景

经典使用场景

IDKB数据集的经典使用场景在于评估和提升大型视觉-语言模型（LVLMs）在自动驾驶领域的可靠性。通过包含驾驶手册、理论测试数据和模拟道路测试数据，IDKB能够全面评估LVLMs在驾驶知识理解、交通规则遵守和实际驾驶技能方面的表现。

解决学术问题

IDKB数据集解决了自动驾驶领域中LVLMs缺乏专业驾驶知识的问题。通过提供结构化的驾驶理论和实践知识，IDKB帮助学术界和工业界开发更安全、更可靠的自动驾驶系统。这不仅提升了模型的性能，还为自动驾驶技术的实际应用提供了坚实的理论基础。

实际应用

在实际应用中，IDKB数据集可以用于训练和验证自动驾驶系统中的视觉-语言模型。通过模拟各种道路场景和交通规则，IDKB确保了模型在不同驾驶环境下的适应性和鲁棒性。此外，IDKB还可以用于驾驶员培训系统，帮助新手驾驶员更好地理解和掌握驾驶知识。

数据集最近研究