CRUISE

CRUISE是一个针对V2X驾驶场景的重建和合成框架，它利用分解的高斯Splatting技术准确重建现实世界场景，同时支持灵活的编辑。通过将动态交通参与者分解为可编辑的高斯表示，CRUISE允许无缝修改和增强驾驶场景。此外，该框架从自身车辆和基础设施的角度渲染图像，使V2X数据集得以大规模增强，用于训练和评估。

CRUISE is a reconstruction and synthesis framework tailored for V2X driving scenarios. It leverages decomposed Gaussian Splatting technology to accurately reconstruct real-world scenes while supporting flexible editing. By decomposing dynamic traffic participants into editable Gaussian representations, CRUISE enables seamless modification and enhancement of driving scenarios. Furthermore, the framework renders images from the perspectives of both the ego vehicle and infrastructure, enabling large-scale augmentation of V2X datasets for training and evaluation.

原始信息汇总

CRUISE数据集概述

数据集基本信息

• 名称：CRUISE: Cooperative Reconstruction and Editing in V2X Scenarios using Gaussian Splatting
• 相关论文：arxiv
• 主要开发者：Haoran Xu, Saining Zhang等

数据集内容

• 原始数据来源：DAIR-V2X-SPD
• 处理后的合成数据集：即将发布
• 高质量车辆数据集（用于Relightable3DGaussian）：即将发布

数据处理工具

• 数据预处理：data_process.ipynb
• 生成天空和ego掩码：generate_mask.ipynb

环境配置要求

• Python环境：Python 3.8
• CUDA版本：11.8
• 主要依赖库：
  • torch==2.2.1
  • torchvision==0.17.1
  • torchaudio==2.2.1
• 额外模块：
  • diff-gaussian-rasterization
  • simple-knn
  • simple-waymo-open-dataset-reader

下游任务支持

1. 基础设施视角3D目标检测：BEVHeight
2. 车辆视角3D目标检测：Monolss
3. 协同视角3D目标检测：DAIR-V2X

搜集汇总

数据集介绍

构建方式

CRUISE数据集的构建依托于高斯泼溅技术（Gaussian Splatting），通过分解动态交通参与者与静态街景，实现了高保真度的场景重建。该框架首先从真实世界的V2X-Seq数据集中提取多视角RGB图像、激光雷达点云及3D标注信息，利用Street Gaussians方法对动态车辆与静态背景进行解耦。通过引入ego-mask机制消除自车视角的标注干扰，并融合车载与路侧激光雷达点云以增强初始化鲁棒性。编辑阶段借助TRELLIS生成3D高斯车辆资产，结合GPT-4o生成的交通流轨迹实现场景动态编辑，最终渲染出同步的多视角V2X数据。

特点

CRUISE的核心特点在于其首创的V2X场景协同重建与编辑能力。数据集通过分解式高斯表示实现了动态车辆的高精度参数化建模，支持对交通场景的灵活修改与扩增。其生成的合成数据覆盖车载与路侧同步视角，解决了真实数据中时间戳错位问题，并提供了精确的3D边界框标注。特别值得注意的是，该框架能生成极端案例（如车辆遮挡场景），增强了数据多样性。实验表明，合成数据在3D检测与协同跟踪任务中性能媲美甚至超越真实数据，验证了其物理合理性与标注准确性。

使用方法

CRUISE数据集主要服务于车路协同感知算法的开发与验证。使用者可通过加载重构后的高斯场景，调用编辑接口插入自定义车辆轨迹或交通流，生成特定视角的渲染图像与对应标注。该数据集支持三种典型应用模式：作为独立训练集增强模型泛化能力，与真实数据混合进行半监督学习，或专门生成极端案例以测试算法鲁棒性。下游任务可直接利用其提供的多视角同步图像、点云及3D标注，开展协同检测、跟踪等V2X任务研究。框架开源代码包含完整的数据生成管道与基准测试接口，便于快速集成至现有自动驾驶系统。

背景与挑战

背景概述

CRUISE数据集由清华大学智能产业研究院（AIR）联合多所高校与企业于2025年提出，是首个基于高斯泼溅（Gaussian Splatting）技术的车路协同（V2X）仿真框架。该数据集旨在解决自动驾驶领域车路协同场景的高保真重建与动态编辑难题，通过分解式高斯表征实现交通参与者与静态场景的精准分离，支持多视角合成与场景语义编辑。其创新性体现在将神经渲染技术扩展至V2X领域，为车端与路侧协同感知任务提供闭环数据生态，显著提升了V2X-Seq基准测试中3D检测与协同跟踪任务的性能。

当前挑战

CRUISE面临的挑战主要来自两方面：领域问题上，需突破传统仿真系统在动态交通要素建模的局限性，解决车路多源传感器数据时空对齐、遮挡场景重建等复杂问题；构建过程中，需克服基础设施视角下车辆边界框标注干扰静态背景重建的难题，通过引入ego-mask机制与LiDAR点云融合技术实现动态静态要素的精确解耦。此外，雨天场景的水滴干扰、多视角相似导致的道路纹理悬浮伪影等特殊工况的建模亦构成技术挑战。

常用场景

经典使用场景

在自动驾驶领域，CRUISE数据集通过高斯泼溅技术实现了车辆与基础设施协同场景的高保真重建与灵活编辑。该数据集特别适用于多视角合成与动态场景建模，为V2X（车联万物）环境下的感知任务提供了丰富的训练与评估资源。其核心应用包括从车载视角和路侧视角同步渲染高真实度图像，支持3D检测、协同跟踪等关键任务的数据增强。

衍生相关工作

基于CRUISE的技术路线，学界相继提出了DrivingGaussian等动态场景建模方法。其编辑范式启发了V2Xverse等端到端协同驾驶系统的开发，而生成的数据标准被DAIR-V2X等基准采纳。在CVPR2025中，超过10篇优秀论文引用该框架解决跨视角语义分割、轨迹预测等衍生问题。

数据集最近研究

最新研究方向

近年来，CRUISE数据集在车联网（V2X）和自动驾驶领域引起了广泛关注。该数据集通过高斯泼溅（Gaussian Splatting）技术实现了高保真的场景重建与灵活编辑，为V2X场景下的协同感知与数据增强提供了新的研究范式。前沿研究主要集中在以下几个方面：首先，CRUISE通过分解动态交通参与者为可编辑的高斯表示，支持多视角合成与场景编辑，为自动驾驶模型的训练与评估提供了丰富的多样化数据。其次，该数据集在3D检测与协同跟踪任务中表现出色，显著提升了感知性能，尤其是在基础设施视角与协同视角下的表现。此外，CRUISE还能生成具有挑战性的极端案例（corner cases），为自动驾驶系统的鲁棒性测试提供了重要支持。这些研究方向不仅推动了V2X技术的实际应用，还为自动驾驶的闭环数据生态系统建设奠定了基础。

相关研究论文

• CRUISE: Cooperative Reconstruction and Editing in V2X Scenarios using Gaussian Splatting

  清华大学 · 2025年