TeleopWM-Dataset

TeleopWM-Dataset 是一个用于延迟弹性视觉遥操作研究的大规模CARLA驾驶仿真数据集，专门用于训练和评估TeleopWM预测性潜在世界模型。该数据集包含同步采集的RGB摄像头图像、车辆控制信号（油门、转向、刹车）、车速测量以及用于构建短期未来预测任务的元数据。数据按照训练集（Town01、Town03、Town04）、验证集（Town02）和测试集（Town05）进行划分，旨在评估模型在未见环境中的泛化能力。数据集总规模约为90GB，其中训练集71GB，验证集11GB，测试集9GB。每个数据片段包含用于构建世界模型训练的9个历史帧和8个未来帧。原始控制信号以[油门，转向，刹车]三元组形式存储，在TeleopWM模型内部被转换为[纵向控制（油门-刹车），缩放转向，速度]的表示形式。该数据集适用于预测性世界模型、未来帧预测、未来动作预测、遥操作研究、延迟缓解、自动驾驶以及模仿学习等研究领域。数据集基于MILE项目的CARLA数据收集框架和格式进行构建，并进行了扩展以支持预测性显示和未来动作预测的研究。需要注意的是，该数据集不适用于安全关键驾驶系统的认证、未经额外测试的真实世界自动驾驶车辆验证，也不能代表所有驾驶环境或交通条件。TeleopWM-Dataset is a large-scale CARLA driving simulation dataset for latency-resilient visual teleoperation research, specifically designed for training and evaluating the TeleopWM predictive latent world model. The dataset includes synchronously collected RGB camera images, vehicle control signals (throttle, steering, brake), speed measurements, and metadata for constructing short-term future prediction tasks. Data is divided into training sets (Town01, Town03, Town04), validation set (Town02), and test set (Town05), aiming to evaluate model generalization in unseen environments. The total dataset size is approximately 90GB, with 71GB for training, 11GB for validation, and 9GB for testing. Each data segment contains 9 historical frames and 8 future frames for world model training. Original control signals are stored as [throttle, steering, brake] triplets, which are internally converted to [longitudinal control (throttle-brake), scaled steering, speed] representations in the TeleopWM model. The dataset is suitable for research areas such as predictive world models, future frame prediction, future action prediction, teleoperation studies, latency mitigation, autonomous driving, and imitation learning. It is built based on the CARLA data collection framework and format from the MILE project, extended to support predictive display and future action prediction research. Note that this dataset is not intended for certification of safety-critical driving systems, validation of real-world autonomous vehicles without additional testing, and does not represent all driving environments or traffic conditions.

原始信息汇总

数据集概述

TeleopWM-Dataset 是一个大规模的CARLA驾驶轨迹数据集，专为训练和评估 TeleopWM（一种用于延迟鲁棒视觉遥操作的预测性潜在世界模型）而设计。数据集包含同步的RGB观测、车辆控制指令、速度测量及元数据，用于构建短时域未来预测任务，涵盖视觉预测和未来动作预测。

相关资源

• 项目主页: https://bimilab.github.io/paper-TeleopWM/
• 模型检查点: https://huggingface.co/bimilab/TeleopWM
• GitHub仓库: https://github.com/bimilab/paper-TeleopWM
• YouTube演示: https://youtu.be/WeKqqZuwBl0

数据集结构

数据集遵循CARLA/MILE风格的轨迹格式，按训练/验证/测试集划分，各包含不同CARLA城镇的驾驶数据：

text mile_action_diverse/ ├── train/ (Town01, Town03, Town04) ├── val/ (Town02) └── test/ (Town05)

官方实验采用的分割方案：

数据划分	包含城镇
训练集	Town01, Town03, Town04
验证集	Town02
测试集	Town05

该分割用于评估模型在未见环境上的泛化能力。

数据内容

每条轨迹包含：

• RGB相机图像
• 车辆控制指令：油门、转向、刹车
• 车辆速度
• 路线元数据
• 轨迹元数据（存储于 pd_dataframe.pkl 文件中）

TeleopWM管线为预测性世界模型训练构造了：

• 9帧历史图像
• 8帧未来图像

控制表示

原始控制指令存储为：[油门, 转向, 刹车]

TeleopWM内部将其转换为：[纵向控制, 缩放转向, 速度]

其中，纵向控制 = 油门 - 刹车。

该表示方式与发布的TeleopWM模型一致。

数据集统计

数据划分	大小
训练集	71 GB
验证集	11 GB
测试集	9 GB
总计	~90 GB

预期用途

该数据集适用于：

• 预测性世界模型研究
• 未来帧预测
• 未来动作预测
• 遥操作研究
• 延迟缓解研究
• 自动驾驶研究
• 模仿学习研究

非预期用途

该数据集不适用于：

• 认证安全关键驾驶系统
• 未经额外测试验证真实世界自动驾驶车辆
• 表示所有驾驶环境或交通状况
• 作为现实世界安全评估的基准

引用

若使用本数据集，请引用：

bibtex @misc{teleopwm_dataset2026, title={TeleopWM-Dataset: A CARLA Dataset for Latency-Resilient Vision-Based Teleoperation}, author={Khalil, Aws and Kwon, Jaerock}, year={2026} }

许可

本数据集采用 MIT 许可协议发布。

搜集汇总

数据集介绍

构建方式

TeleopWM-Dataset是基于CARLA模拟器构建的大规模驾驶数据集，专为支持TeleopWM——一种面向延迟鲁棒视觉遥操作的预测性潜在世界模型——的训练与评估而设计。数据集沿用了CARLA/MILE风格的行驶数据格式，涵盖多个城镇与驾驶场景。在采集过程中，系统记录了同步的RGB图像、车辆控制指令、速度测量值及路径元数据，并存储为结构化的pd_dataframe.pkl文件。数据划分遵循严格的泛化性评估原则，训练集包含Town01、Town03和Town04，验证集使用Town02，测试集则采用全新的Town05环境，以检验模型对未见场景的适应能力。

使用方法

使用TeleopWM-Dataset时，研究者可直接从HuggingFace下载数据集，并参照官方提供的TeleopWM模型检查点与GitHub代码库进行复现或二次开发。数据集以CARLA/MILE标准格式组织，用户可通过pd_dataframe.pkl文件快速读取元数据与传感器日志。建议基于预定义的训练/验证/测试划分加载数据，构造包含9帧过去与8帧未来的时序序列，用于训练潜在世界模型，实现未来观测预测与未来动作预测。此外，数据集还可用于模仿学习、遥操作延迟补偿、预测性显示等自动驾驶相关研究方向。

背景与挑战

背景概述

TeleopWM-Dataset由Aws Khalil与Jaerock Kwon于2026年创建，依托于BiMiLab团队，旨在解决基于视觉的远程操作中普遍存在的延迟鲁棒性问题。该数据集以CARLA仿真环境为基础，沿袭MILE数据采集框架，构建了包含多城镇、多驾驶场景的大规模行车数据，涵盖RGB图像、车辆控制指令、速度及路径元数据。其核心研究问题聚焦于利用预测性潜在世界模型（TeleopWM）实现未来观测与动作的前瞻性预测，从而缓解通信延迟对远程驾驶的负面影响。作为自动驾驶与远程操作领域的重要资源，该数据集不仅推动了世界模型在预测性显示与模仿学习中的探索，还为跨环境泛化评估提供了标准化基准，对提升远程操控系统的感知与决策时效性具有深远影响。

当前挑战

TeleopWM-Dataset所应对的领域核心挑战在于远程操作中固有的通信延迟，其可能导致视觉反馈与控制指令脱节，引发操控失误。为此，该数据集构建了短时域未来预测任务，要求模型能基于过去9帧预测未来8帧的行车状态与动作，这对其捕捉复杂时空动态的能力提出了严峻考验。在数据集构建过程中，挑战主要体现在三个方面：其一，需在CARLA多城镇环境下收集一致性数据，同时模拟多样化交通场景以保证模型泛化性；其二，原始控制信号（油门、转向、刹车）需转换为纵向加速度与缩放转向表示，以避免冗余并适配模型输入；其三，大规模数据（约90GB）的存储与组织需兼顾结构化效率与训练灵活性，确保数据采集流程的标准化与可复现性。

常用场景

经典使用场景

TeleopWM-Dataset是面向延迟鲁棒视觉遥操作研究的大规模CARLA驾驶数据集，其经典应用场景聚焦于构建预测性潜世界模型。研究者利用该数据集中同步采集的RGB图像、车辆控制指令与速度测量值，设计短时域未来预测任务，包括视觉帧序列预测和未来驾驶动作预测。该数据集在训练和评估TeleopWM模型时，将9帧历史观测与8帧未来帧作为标准化输入输出结构，为世界模型在遥操作场景中的延迟补偿能力提供了标准化测试平台。

解决学术问题

该数据集解决了远程驾驶中通信延迟导致的人机同步失调这一核心学术难题。传统遥操作因网络时延导致操作者难以实时感知车辆状态，造成控制不稳定。TeleopWM-Dataset通过提供包含连续动作与观测的数据流，使得研究能够构建可提前预测未来视觉反馈与车辆行为的潜空间世界模型，从而在学术界首次系统性地将世界模型范式引入延迟鲁棒遥操作领域，显著推动了预测性显示与免预测驾驶策略的研究。

实际应用

在实际应用中，TeleopWM-Dataset支撑了低延迟要求的远程操控系统开发，尤其适用于矿山作业、危险环境巡检以及远程物流配送等场景。基于该数据集训练的预测模型可直接嵌入遥操作控制回路，向操作者呈现未来时刻的预测画面，补偿端到端延迟带来的感知滞后。该数据集的多城镇、多工况设计使模型具备对陌生环境的泛化能力，为部署于真实世界的远程驾驶辅助系统提供了可靠的仿真训练基础。

数据集最近研究

最新研究方向

TeleopWM-Dataset作为面向延迟鲁棒视觉遥操作的大规模CARLA驾驶数据集，近期研究核心聚焦于将潜在世界模型（Latent World Model）与预测性显示（Predictive Display）技术深度融合，以应对远程驾驶中通信延迟带来的感知与操控失配问题。该数据集通过采集多城镇、多场景的驾驶展开数据，支持短时域未来观测预测与未来动作预测任务，推动了世界模型在自主驾驶与遥操作领域的交叉前沿研究。其采用MILE风格的展开格式与潜表征控制转换（如纵向-转向-速度映射），为构建端到端的延迟补偿系统提供了标准化训练基准。相关实验验证了模型的跨环境泛化能力，为低延迟、高鲁棒的远程驾驶系统设计提供了关键数据支撑，对促进自动驾驶安全性、远程操作效能的提升具有重要理论与实际意义。