WorldEngine

<div align="center">
<img src="docs/imgs/WE_title.png" width="800px">

# **迈向物理AI的后训练时代**
> **WorldEngine** 是面向物理AI的后训练框架。本数据集包含算法训练、闭环仿真所需的预处理数据和模型检查点。

[](https://creativecommons.org/licenses/by-nc-sa/4.0/)
[](https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine)
[](https://github.com/OpenDriveLab/WorldEngine)
[](https://huggingface.co/datasets/OpenDriveLab/WorldEngine)

</div>

<p align="center">
<img src="docs/imgs/README_overall.jpg" width="800px" >
</p>

> 联合项目：香港大学 OpenDriveLab、华为车BU、上海创智学院 (SII)

## 项目亮点

- **面向物理AI的后训练框架**：系统性地解决自动驾驶领域长尾安全关键数据稀缺问题。
- **数据驱动的长尾发现**：由预训练智能体自动从真实驾驶日志中识别易失败场景——无需人工设计，无需合成扰动。
- **照片级真实感交互仿真**：通过3D高斯 (3DGS) 技术，将场景重建为完全可控、实时渲染的仿真环境。
- **行为驱动的场景生成**：利用行为世界模型 (BWM) 从长尾场景中泛化合成多样化交通变体，将稀疏安全关键事件扩展为密集可学习分布。
- **基于强化学习的后训练**：在安全关键回放数据上后训练，效果相当于预训练数据增加约10倍。
- **生产规模验证**：已部署在基于80,000+小时驾驶日志训练的量产ADAS平台上，碰撞率降低高达**45.5%**，200公里路测零接管。

## 最新动态
- **[2026/04/09]** 官方数据发布。

---

## 📑 目录

- [项目亮点](#项目亮点)
- [最新动态](#最新动态)
- [数据集概览](#-数据集概览)
- [下载方法](#-下载方法)
- [目录结构详解](#-目录结构详解)
- [基准测试](#-基准测试)
- [环境变量设置](#️-环境变量设置)
- [使用说明](#-使用说明)
- [引用](#-引用)
- [许可证](#-许可证)
- [相关链接](#-相关链接)
- [联系方式](#-联系方式)

## 📦 数据集概览

本数据集采用**模块化数据结构**，每个子系统（AlgEngine、SimEngine）都有其特定的数据要求，同时共享通用格式。

| 模块 | 功能 | 数据类型 |
|------|------|---------|
| **原始数据** | nuPlan & OpenScene 基础数据集 | 传感器数据、地图、标注 |
| **AlgEngine** | 端到端模型训练与评估 | 预处理标注、ckpts、缓存 |
| **SimEngine** | 闭环仿真环境 | 场景资产、配置文件 |

```bash
WorldEngine/
└── data/ # 主数据目录
├── raw/ # 原始数据集 (nuPlan, OpenScene)
├── alg_engine/ # AlgEngine 专用数据
└── sim_engine/ # SimEngine 专用数据
```

## 🚀 下载方法

### 方法一：使用 ModelScope SDK

推荐使用 ModelScope SDK 进行快速下载：
```
from modelscope import MsDataset

# 加载数据集
ds = MsDataset.load('OpenDriveLab/WorldEngine')
```

### 方法二：使用 Git Clone

适用于需要完整版本控制的场景：
```
# 安装Git LFS（大文件存储）
git lfs install

git clone https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine.git
```

### 方法三：使用 ModelScope CLI
```
pip install modelscope
modelscope download --dataset OpenDriveLab/WorldEngine
```

---

## 📂 目录结构详解

### 1️⃣ 原始数据 (`data/raw/`)

<details>
<summary><b>点击展开完整目录结构</b></summary>

请下载 **nuPlan** 和 **OpenScene** 原始数据集后，通过软链接 `ln -s` 等方式，设置成如下形式：

```bash
data/raw/
├── nuplan/ # nuPlan 原始数据集
│ ├── maps/ # 高精地图（所有模块必需）
│ │ ├── us-nv-las-vegas-strip/
│ │ ├── us-ma-boston/
│ │ ├── us-pa-pittsburgh-hazelwood/
│ │ └── sg-one-north/
│ ├── sensor_blobs/ # 相机图像和激光雷达
│ └── splits/ # 训练/验证/测试划分
│
└── openscene-v1.1/ # OpenScene 数据集（基于 nuPlan）
├── sensor_blobs/
│ ├── trainval/ # 训练传感器数据
│ └── test/ # 测试传感器数据
└── meta_datas/
├── trainval/ # 训练元数据
└── test/ # 测试元数据
```

</details>

### 2️⃣ AlgEngine 数据 (`data/alg_engine/`)

<details>
<summary><b>点击展开完整目录结构</b></summary>

用于**端到端模型训练和评估**的数据：

```bash
data/alg_engine/
├── openscene-synthetic/ # SimEngine 生成的合成数据，需自行生成
│ ├── sensor_blobs/
│ ├── meta_datas/
│ └── pdms_pkl/
│
├── ckpts/ # 预训练模型检查点
│ ├── bevformerv2-r50-t1-base_epoch_48.pth
│ ├── e2e_vadv2_50pct_ep8.pth
│ ├── track_map_nuplan_r50_navtrain_100pct_bs1x8.pth
│ └── track_map_nuplan_r50_navtrain_50pct_bs1x8.pth
│
├── pdms_cache/ # 预计算的 PDM 指标缓存
│ ├── pdm_8192_gt_cache_navtest.pkl
│ └── pdm_8192_gt_cache_navtrain.pkl
│
├── merged_infos_navformer/ # 预处理标注
│ ├── nuplan_openscene_navtest.pkl
│ └── nuplan_openscene_navtrain.pkl
│
└── test_8192_kmeans.npy # K-means 聚类（用于 PDM）
```

</details>

### 3️⃣ SimEngine 数据 (`data/sim_engine/`)

<details>
<summary><b>点击展开完整目录结构</b></summary>

用于**闭环仿真**的数据：

```bash
data/sim_engine/
├── assets/ # 仿真场景资产（需解压）
│ ├── navtest/ # navtest集 场景资产
│ ├── navtrain/ # navtrain集 场景资产
│ └── navtest_failures/ # navtest rare logs 场景资产
│
└── scenarios/ # SimEngine 场景配置
├── original/ # 原始日志场景
│ ├── navtest_failures/
│ ├── navtrain_50pct_collision/
│ ├── navtrain_ep_per1/
│ ├── navtrain_failures_per1/
│ └── navtrain_hydramdp_failures/
└── augmented/ # 增强场景（来自 BWM）
├── navtrain_50pct_collision/
├── navtrain_50pct_ep_1pct/
└── navtrain_50pct_offroad/
```

**⚠️ 重要：场景资产解压**

`assets/` 目录下的场景资产以分片压缩包形式存储，使用前需要先解压。详见`extract_datasets.sh`。

💡 **提示**：
- `--strip-components=1` 参数确保解压到当前目录，避免出现 `navtest/navtest/` 的嵌套结构
- 解压后的场景资产包含 3D 高斯散点 (3DGS) 渲染所需的全部文件，每个场景大小约几百 MB

</details>

---

## ⚙️ 环境变量设置

为了正确访问数据，请配置以下环境变量：

### 快速配置

```bash
# 添加到 ~/.bashrc 或 ~/.zshrc
export WORLDENGINE_ROOT="/path/to/WorldEngine"
export NUPLAN_MAPS_ROOT="${WORLDENGINE_ROOT}/data/raw/nuplan/maps"
export PYTHONPATH=$WORLDENGINE_ROOT:$PYTHONPATH
```

### 应用更改

```bash
source ~/.bashrc # 或 source ~/.zshrc
```

💡 **提示**：将上述配置添加到 shell 配置文件后，每次打开新终端都会自动加载这些环境变量。

---

## 📖 使用说明

### 快速上手流程

按照以下步骤快速配置数据集：

| 步骤 | 操作 | 说明 |
|:----:|------|------|
| **1** | 下载数据集 | 使用 ModelScope SDK 或 Git Clone |
| **2** | 解压场景资产 | 解压 `data/sim_engine/assets/` 下的分片压缩包（[详见说明](#3️⃣-simengine-数据-datasim_engine)） |
| **3** | 设置环境变量 | 配置 `WORLDENGINE_ROOT` 和相关路径 |
| **4** | 创建符号链接 | 链接原始数据集（如需要） |
| **5** | 验证安装 | 运行快速测试脚本 |

### 详细配置步骤

<details>
<summary><b>2. 解压场景资产（必需）</b></summary>

SimEngine 的场景资产以分片压缩包形式存储，必须解压后才能使用：

```bash
cd data/sim_engine/assets

# 解压所有场景资产
for dir in navtest navtrain navtest_failures; do
echo "正在处理 ${dir}..."
cd ${dir}
cat ${dir}.tar.gz.part* > ${dir}.tar.gz
tar -xzf ${dir}.tar.gz --strip-components=1 # 避免嵌套目录
rm ${dir}.tar.gz # 可选：删除合并后的压缩包
cd ..
done

cd ../../..
```

或者手动逐个解压（[参见 SimEngine 数据部分的详细说明](#3️⃣-simengine-数据-datasim_engine)）。

</details>

<details>
<summary><b>4. 创建符号链接（可选）</b></summary>

如果您已经下载了 nuPlan 和 OpenScene 数据，可以通过符号链接的方式避免数据重复：

```bash
cd WorldEngine/data/raw
ln -s /path/to/nuplan nuplan
ln -s /path/to/openscene-v1.1 openscene-v1.1
cd openscene-v1.1
ln -s ../nuplan/maps maps
```

</details>

### 后续步骤

完成数据集配置后，请参考主项目文档继续：

- 📘 [安装指南](https://github.com/OpenDriveLab/WorldEngine/blob/main/docs/installation.md)
- 🚀 [快速开始](https://github.com/OpenDriveLab/WorldEngine/blob/main/docs/quick_start.md)
- 🎮 [SimEngine 使用指南](https://github.com/OpenDriveLab/WorldEngine/blob/main/docs/simengine_usage.md)
- 🧠 [AlgEngine 使用指南](https://github.com/OpenDriveLab/WorldEngine/blob/main/docs/algengine_usage.md)

---

## 📝 引用

如果本项目对您的研究有所帮助，请考虑引用：

```bibtex

```

如使用渲染资产（MTGS），请同时引用：
```bibtex
@article{li2025mtgs,
title={MTGS: Multi-Traversal Gaussian Splatting},
author={Li, Tianyu and Qiu, Yihang and Wu, Zhenhua and Lindstr{\"o}m, Carl and Su, Peng and Nie{\ss}ner, Matthias and Li, Hongyang},
journal={arXiv preprint arXiv:2503.12552},
year={2025}
}
```
如使用行为世界模型 (BWM)生成的场景数据，请一并引用：
```bibtex
@inproceedings{zhou2025nexus,
title={Decoupled Diffusion Sparks Adaptive Scene Generation},
author={Zhou, Yunsong and Ye, Naisheng and Ljungbergh, William and Li, Tianyu and Yang, Jiazhi and Yang, Zetong and Zhu, Hongzi and Petersson, Christoffer and Li, Hongyang},
booktitle={ICCV},
year={2025}
}
```
```bibtex
@article{li2025optimization,
title={Optimization-Guided Diffusion for Interactive Scene Generation},
author={Li, Shihao and Ye, Naisheng and Li, Tianyu and Chitta, Kashyap and An, Tuo and Su, Peng and Wang, Boyang and Liu, Haiou and Lv, Chen and Li, Hongyang},
journal={arXiv preprint arXiv:2512.07661},
year={2025}
}
```
如使用 AlgEnegine，请一并引用：
```bibtex
@ARTICLE{11353028,
author={Liu, Haochen and Li, Tianyu and Yang, Haohan and Chen, Li and Wang, Caojun and Guo, Ke and Tian, Haochen and Li, Hongchen and Li, Hongyang and Lv, Chen},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
title={Reinforced Refinement With Self-Aware Expansion for End-to-End Autonomous Driving},
year={2026},
volume={48},
number={5},
pages={5774-5792},
keywords={Adaptation models;Self-aware;Autonomous vehicles;Pipelines;Planning;Training;Reinforcement learning;Uncertainty;Data models;Safety;End-to-end autonomous driving;reinforced finetuning;imitation learning;motion planning},
doi={10.1109/TPAMI.2026.3653866}}
```

---

## 📄 许可证

本数据集采用 **[CC-BY-NC-SA-4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/)** 许可证发布。

### 使用须知

- ✅ **允许**：修改、分发、私人使用
- 📝 **要求**：署名、相同方式共享
- ⚠️ **限制**：禁止商业使用，需保留版权声明和许可证声明

---

## 🔗 相关链接

| 资源 | 链接 |
|:----:|:-----|
| 🏠 **项目主页** | [WorldEngine GitHub](https://github.com/OpenDriveLab/WorldEngine) |
| 📦 **ModelScope** | [数据集主页](https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine) |
| 💬 **问题反馈** | [ModelScope Issues](https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine/feedback) |
| 📖 **完整文档** | [Documentation](https://github.com/OpenDriveLab/WorldEngine/tree/main/docs) |
| 🎨 **场景重建** | [MTGS Repository](https://github.com/OpenDriveLab/MTGS) |

---

## 📧 联系方式

如有任何问题或建议，欢迎通过以下方式联系我们：

- 🐛 **报告问题**：[GitHub Issues](https://github.com/OpenDriveLab/WorldEngine/issues)
- 📮 **数据集反馈**：[ModelScope Feedback](https://www.modelscope.cn/datasets/OpenDriveLab/WorldEngine/feedback)

---

<div align="center">

**⭐ 如果 WorldEngine 对您有帮助，请考虑给我们一个 Star！⭐**

**感谢您对 WorldEngine 项目的支持！**

</div>