OpenDILabCommunity/LMDrive

--- configs: - config_name: default data_files: - split: train path: navigation_instruction_list.txt sep: " " default: true license: apache-2.0 language: - en size_categories: - n>1T --- # LMDrive 64K Dataset Card LMDrive Dataset consists of 64K instruction-sensor-control data clips collected in the CARLA simulator， where each clip includes one navigation instruction, several notice instructions, a sequence of multi-modal multi-view sensor data, and control signals. The duration of the clip spans from 2 to 20 seconds. ## Dataset details - `data/`: dataset folder, the entire dataset contains about 2T of data. - `data/Town01`: sub dataset folder, which only consists of the data folder for the Town01 - `data/Town02`: sub dataset folder, which only consists of the data folder for the Town02 - ... - `dataset_index.txt`: the data list for pretraining the vision encoder - `navigation_instruction_list.txt`: the data list for instruction finetuning - `notice_instruction_list.json`: the data list for instruction finetuning (optional if the notice instruction data is not engaged in the training) **Dataset date:** LMDrive-1.0 Dataset was collected in September 2023. **Paper or resources for more information:** Github: https://github.com/opendilab/LMDrive/README.md Paper: https://arxiv.org/abs/2312.07488 **License:** Attribution-NonCommercial 4.0 International **Where to send questions or comments about the model:** https://github.com/opendilab/LMDrive/issues ## Intended use **Primary intended uses:** The primary use of LMDrive is research on large multimodal models for autonomous driving. **Primary intended users:** The primary intended users of the model are researchers and hobbyists in computer vision, large multimodal model, autonomous driving, and artificial intelligence.配置项： - 配置名称：default 数据文件： - 划分集：训练集（train） 文件路径：navigation_instruction_list.txt 分隔符：空格 设为默认配置：是 许可证：Apache-2.0 语言：英语（en） 数据规模类别：n>1T（数据量超1太字节） # LMDrive 64K 数据集卡片 LMDrive数据集包含在CARLA模拟器中采集的64K条「指令-传感器-控制」数据片段，每条片段均包含1条导航指令、若干条提示指令、一组多模态多视角传感器数据序列以及控制信号。单条片段的时长介于2至20秒之间。 ## 数据集详情 - `data/`：数据集根目录，整个数据集总数据量约为2太字节。 - `data/Town01`：子数据集目录，仅包含Town01场景下的数据文件 - `data/Town02`：子数据集目录，仅包含Town02场景下的数据文件 - …… - `dataset_index.txt`：用于视觉编码器预训练的数据列表文件 - `navigation_instruction_list.txt`：用于指令微调的数据列表文件 - `notice_instruction_list.json`：用于指令微调的数据列表文件（若训练中未使用提示指令数据，则该文件为可选配置） **数据集采集时间**：LMDrive-1.0数据集采集于2023年9月。 **更多信息获取渠道**： GitHub仓库：https://github.com/opendilab/LMDrive/README.md 相关论文：https://arxiv.org/abs/2312.07488 **许可证**：署名-非商业性使用4.0国际许可协议 **问题与意见反馈渠道**：https://github.com/opendilab/LMDrive/issues ## 预期用途 ### 核心用途 LMDrive数据集的核心用途为面向自动驾驶领域的多模态大模型研究。 ### 核心受众 本数据集的核心受众为计算机视觉、多模态大模型、自动驾驶以及人工智能领域的研究人员与爱好者。

原始信息汇总

LMDrive 64K 数据集卡片

数据集概述

LMDrive 数据集包含 64K 个指令-传感器-控制数据片段，这些数据片段在 CARLA 模拟器中收集。每个片段包括一个导航指令、几个注意指令、一系列多模态多视角传感器数据和控制信号。片段的持续时间从 2 秒到 20 秒不等。

数据集详情

• 数据目录结构：
  • data/：数据集文件夹，整个数据集包含约 2T 的数据。
    • data/Town01：子数据集文件夹，仅包含 Town01 的数据文件夹。
    • data/Town02：子数据集文件夹，仅包含 Town02 的数据文件夹。
    • ...
• 数据列表文件：
  • dataset_index.txt：用于预训练视觉编码器的数据列表。
  • navigation_instruction_list.txt：用于指令微调的数据列表。
  • notice_instruction_list.json：用于指令微调的数据列表（可选，如果未使用注意指令数据进行训练）。

数据集日期

LMDrive-1.0 数据集于 2023 年 9 月收集。

许可证

Attribution-NonCommercial 4.0 International

预期用途

• 主要预期用途：
  • LMDrive 主要用于研究大型多模态模型在自动驾驶领域的应用。
• 主要预期用户：
  • 该模型的主要预期用户是计算机视觉、大型多模态模型、自动驾驶和人工智能领域的研究人员和爱好者。

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，大规模多模态数据集的构建是驱动模型能力提升的关键。LMDrive数据集依托CARLA模拟器，精心采集了64K条指令-传感器-控制数据片段。每个片段涵盖一条导航指令、若干通知指令、一系列多模态多视角传感器数据及对应的控制信号，片段时长从2秒至20秒不等。数据按城镇场景（如Town01、Town02）分文件夹存储，并提供了用于视觉编码器预训练的`dataset_index.txt`、指令微调的`navigation_instruction_list.txt`以及可选的通知指令列表`notice_instruction_list.json`，整体数据规模超过2TB。

特点

该数据集的核心特点在于其高度集成与多样性。它融合了自然语言指令与多模态感知数据，使模型能够学习语言引导下的驾驶行为。多视角传感器数据覆盖了车辆周围环境，而控制信号则精确记录了人类驾驶员的决策。数据采集于2023年9月，确保了场景的时效性。此外，数据集按城镇划分，支持对不同环境泛化能力的评估，且片段时长的跨度设计有助于模型学习短期与长期的驾驶策略。

使用方法

LMDataSet专为自动驾驶领域的大规模多模态模型研究而设计，主要面向计算机视觉、多模态学习及人工智能领域的研究者与爱好者。使用时，可通过加载`navigation_instruction_list.txt`进行指令微调，结合`dataset_index.txt`预训练视觉编码器。若需纳入通知指令，可选用`notice_instruction_list.json`。数据文件按城镇组织，便于分场景训练与评估。详细代码实现与基准模型可参考官方GitHub仓库及arXiv论文，进一步探索其在端到端自动驾驶中的潜力。

背景与挑战

背景概述

随着大语言模型与多模态感知技术的深度融合，端到端自动驾驶系统迎来了新的发展契机。在此背景下，OpenDILab社区于2023年9月发布了LMDrive 64K数据集，旨在为基于指令驱动的自动驾驶研究提供大规模、多模态的训练资源。该数据集由上海人工智能实验室等机构的研究人员主导构建，核心研究问题在于如何利用自然语言导航指令与多视角传感器数据协同控制车辆。数据集包含约2TB的时序数据，涵盖64K条指令-传感器-控制信号片段，每条片段时长2至20秒，并整合了CARLA仿真环境中的多模态多视角感知信息。LMDrive的出现填补了语言引导的自动驾驶多模态数据集空白，为后续视觉语言模型在驾驶场景中的预训练与指令微调奠定了重要基础。

当前挑战

LMDrive数据集所解决的领域挑战在于，现有自动驾驶系统多依赖固定规则或纯视觉方案，难以灵活响应自然语言指令。该数据集通过引入导航指令与注意指令，推动模型在复杂交通场景下实现语言引导的闭环控制。构建过程中面临的首要挑战是仿真环境中数据采集的多样性与真实性平衡，需确保不同城镇地图、天气与交通流下的指令-控制对具有统计代表性。其次，多模态数据同步与对齐难度极高，涉及多视角相机、控制信号与语言指令的时序匹配。此外，2TB级别的数据存储与处理对计算资源提出严峻考验，如何高效索引与加载大规模时序片段成为技术瓶颈。最后，指令标注的语义一致性也需严格把控，以避免模型学习到噪声或歧义特征。

常用场景

经典使用场景

在自动驾驶领域，多模态大模型的研究日益成为焦点，而LMDrive数据集正是为此而生。该数据集通过CARLA模拟器采集了64K条指令-传感器-控制数据片段，每条片段包含导航指令、多视角多模态传感器数据及控制信号，时长从2到20秒不等。其经典使用场景在于训练和评估能够理解自然语言指令并生成驾驶控制信号的多模态模型，尤其适用于端到端的自动驾驶任务，如根据导航指令完成变道、转弯等复杂操作。

实际应用

在实际应用中，LMDrive数据集支撑了语言驱动的自动驾驶系统开发，例如在CARLA模拟环境中，模型可基于自然语言指令（如‘在下一个路口左转’）实时生成转向、油门等控制信号。这为智能座舱交互、无人驾驶出租车等场景提供了技术验证平台。此外，数据集的多模态特性（包含RGB图像、激光雷达等）使其适用于复杂路况下的鲁棒性测试，助力提升实际驾驶系统的安全性与适应性。

衍生相关工作

基于LMDrive数据集，衍生了一系列经典工作，如OpenDILab提出的LMDrive框架，首次将大语言模型直接集成到闭环驾驶中，实现了指令理解与控制的端到端学习。此外，该数据集催生了多模态视觉-语言模型在自动驾驶领域的应用研究，包括视觉编码器的预训练与指令微调策略优化。相关工作发表于顶会与期刊，推动了语言引导自动驾驶从概念验证走向系统化研究，为后续的DriveGPT等大模型工作奠定了数据与基线基础。