VehicleWorld

VehicleWorld是一个首个全面的多设备环境，用于智能车辆交互，能够精确模拟现代驾驶舱中的复杂、相互连接的系统。该数据集包含1291个精心设计的任务，用于评估大型语言模型作为车载智能助手在理解并执行真实车辆环境中的复杂命令的能力。

VehicleWorld is the first comprehensive multi-device environment for intelligent vehicle interaction, capable of accurately simulating the complex and interconnected systems within modern vehicle cockpits. This dataset includes 1291 meticulously designed tasks for evaluating the capability of large language models (LLMs) as in-vehicle intelligent assistants to understand and execute complex commands in real-world vehicle environments.

原始信息汇总

VehicleWorld 数据集概述

基本信息

• 许可证: Apache-2.0
• 语言: 英语
• 标签: 代码、仿真、自动驾驶、大语言模型

数据集简介

VehicleWorld 是首个用于智能车辆交互的综合性多设备环境，精确模拟现代座舱中的复杂互联系统。该环境通过在执行过程中提供实时状态信息，能够精确评估智能体行为。本数据集专门设计用于评估大语言模型作为车载智能助手在真实车辆环境中理解和执行复杂命令的能力。

数据集规模

• 训练集样本数量: 1,291 个任务
• 数据集大小: 155,973,757 字节
• 下载大小: 155,973,757 字节

任务分类

数据集包含 1,291 个精心设计的任务，按涉及的主要设备类型分为四个类别：

• 多媒体: 涉及娱乐系统、音频控制和媒体界面的任务
• 触摸控制: 需要与触摸屏显示器和控制面板交互的任务
• 车辆控制: 与车辆操作、驾驶功能和机械系统相关的任务
• 灯光: 涉及内外照明系统的任务

环境特性

• 30 个综合车辆功能模块
• 250 个功能 API，覆盖所有主要车辆系统
• 680 个可查询状态属性，实现完整环境感知
• 实时状态反馈和执行监控

数据集结构

每个样本包含以下字段：

字段名称	描述
id	全局唯一任务标识符，用作目录名
execute.py	用于生成相应 worlds.json 文件的 Python 脚本
inits	用于初始化环境状态的 Python 代码片段
modules	当前任务涉及的相关车辆功能模块列表
querys	用户向车载助手提出的自然语言命令或问题
raw	由 Claude-3.5-Sonnet 模型生成的任务场景原始文本描述
worlds.json	描述任务初始世界状态和配置的 JSON 对象列表

相关资源

• GitHub 仓库: https://github.com/OpenMOSS/VehicleWorld
• 论文: https://arxiv.org/abs/2509.06736

引用信息

bibtex @misc{yang2025vehicleworldhighlyintegratedmultidevice, title={VehicleWorld: A Highly Integrated Multi-Device Environment for Intelligent Vehicle Interaction}, author={Jie Yang and Jiajun Chen and Zhangyue Yin and Shuo Chen and Yuxin Wang and Yiran Guo and Yuan Li and Yining Zheng and Xuanjing Huang and Xipeng Qiu}, year={2025}, eprint={2509.06736}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2509.06736} }

搜集汇总

数据集介绍

构建方式

在智能汽车交互研究领域，VehicleWorld数据集通过精心设计的构建流程脱颖而出。该数据集包含1291项经过专家评审的复杂任务，涵盖多媒体、触控、车辆控制与照明四大设备类型。构建过程中采用Claude-3.5-Sonnet模型生成原始任务场景描述，并整合了30个车辆功能模块与250个功能API，确保每个任务都配备完整的执行脚本、环境初始化代码和世界状态配置文件。

特点

该数据集的核心特征体现在其高度仿真的车辆交互环境构建。数据集提供了680个可查询状态属性，支持实时状态反馈与执行监控，完美模拟现代汽车座舱内复杂的多设备互联系统。每个样本包含唯一的任务标识、自然语言指令、原始场景描述及对应的世界状态配置文件，为大型语言模型作为车载智能助手的能力评估提供了前所未有的测试平台。

使用方法

研究人员可通过克隆项目仓库并下载数据集后运行转换脚本进行使用。数据集集成需要先获取VehicleWorld主项目环境，随后将数据集文件放置于指定数据库目录。通过执行Python转换脚本，系统会自动将任务文件重组为标准目录结构，最终可通过项目评估管道对智能体在真实车辆环境中的复杂指令理解与执行能力进行系统性测试。

背景与挑战

背景概述

随着智能网联汽车技术的快速发展，车载智能交互系统已成为人机交互领域的前沿研究方向。VehicleWorld数据集由OpenMOSS团队于2025年创建，作为首个全面模拟现代驾驶舱多设备交互环境的数据集，其核心研究聚焦于评估大语言模型在复杂车载环境中的指令理解与执行能力。该数据集通过精确建模30个车辆功能模块和250个功能API，为智能座舱助手系统的研发提供了重要的基准测试平台，显著推动了自动驾驶领域人机交互技术的标准化进程。

当前挑战

在智能车载交互领域，系统需应对多模态指令理解、跨设备协同控制及实时状态感知等复杂问题。VehicleWorld构建过程中面临多重挑战：首先需精确模拟真实车辆环境的680个可查询状态属性，确保环境反馈的实时性与准确性；其次要处理多媒体、触控、车辆控制与照明四大类设备的异构接口整合；最后还需保证1291个任务场景在语义复杂性和功能覆盖度上的平衡，这对数据标注的一致性和系统仿真的保真度提出了极高要求。

常用场景

经典使用场景

在智能座舱交互研究领域，VehicleWorld数据集为大型语言模型作为车载智能助手的能力评估提供了标准化测试平台。该数据集通过高度仿真的多设备环境，使研究人员能够系统性地测试模型对复杂车载指令的理解与执行能力，涵盖多媒体控制、触屏交互、车辆操控和灯光系统四大核心场景。每个任务都配备完整的初始状态配置和实时反馈机制，确保评估过程的精确性和可重复性。

实际应用

在实际应用层面，VehicleWorld为汽车制造商和科技公司开发下一代智能座舱系统提供了重要支撑。基于该数据集训练的模型能够准确理解自然语言指令，实现空调调节、导航设置、娱乐系统控制等复杂操作。其真实还原的车辆功能模块使开发者能够在虚拟环境中测试系统可靠性，大幅降低实车测试成本，加速智能驾驶辅助技术的商业化落地进程。

衍生相关工作

该数据集已衍生出多项重要研究工作，特别是在车载大语言模型的指令遵循和环境感知方面。研究者利用其丰富的状态监控功能开发了新型评估指标，用于衡量模型在动态环境中的长期推理能力。相关成果推动了车载对话系统的上下文理解技术发展，并为多智能体协同控制研究提供了新的实验范式，持续影响着智能交通系统领域的研究方向。