TruckV2X

TruckV2X数据集是首个以卡车为中心的多模态和多代理协作感知数据集，旨在解决卡车在自动驾驶中面临的独特感知挑战。该数据集利用LiDAR和摄像头进行多模态感知，并包括拖拉机、拖车、CAV和RSU等多代理协作。数据集提供了64个场景，包括88,396帧LiDAR点云、一百万张相机图像和1.18百万个3D边界框注释。该数据集为开发具有增强遮挡处理能力的协作感知系统奠定了基础，并加速了多代理自动驾驶卡车系统的部署。

The TruckV2X dataset is the first truck-centric multimodal and multi-agent collaborative perception dataset, aiming to address the unique perception challenges faced by trucks in autonomous driving. This dataset leverages LiDAR and cameras for multimodal perception, and covers multi-agent collaboration scenarios including tractors, trailers, CAVs and RSU. The dataset provides 64 scenarios, including 88,396 LiDAR point cloud frames, one million camera images, and 1.18 million 3D bounding box annotations. This dataset lays a foundation for developing collaborative perception systems with enhanced occlusion handling capabilities, and accelerates the deployment of multi-agent autonomous driving truck systems.

原始信息汇总

TruckV2X数据集概述

基本信息

• 名称: TruckV2X
• 许可证: MIT
• 任务类别: 目标检测
• 标签: 协同感知、自动驾驶卡车、数据集、V2X
• 数据来源: 原创
• 规模: 10K<n<100K

数据集描述

TruckV2X是首个以卡车为中心的大规模协同感知数据集，旨在解决自动驾驶卡车中的独特感知挑战（如大盲区、大型车辆尺寸导致的遮挡以及动态拖车运动）。该数据集具有多模态感知（LiDAR和摄像头）功能，并支持多代理协作，包括拖拉机、拖车、联网和自动驾驶车辆（CAV）以及路边单元（RSU）之间的交互。

使用方法

选项1：通过Hugging Face Hub加载

python from datasets import load_dataset

dataset = load_dataset("XieTenghu1/TruckV2X", trust_remote_code=True)

选项2：克隆+本地解压（推荐）

bash git lfs install git clone https://huggingface.co/datasets/XieTenghu1/TruckV2X cd TruckV2X

解压所有分割文件

for zipfile in train/*.zip; do dirname="${zipfile%.zip}" unzip "$zipfile" -d "$dirname" done

for zipfile in val/*.zip; do dirname="${zipfile%.zip}" unzip "$zipfile" -d "$dirname" done

for zipfile in test/*.zip; do dirname="${zipfile%.zip}" unzip "$zipfile" -d "$dirname" done

数据集结构

TruckV2X/ ├── train/ │ ├── Town1_1/ │ │ ├── cav/ │ │ ├── roadside/ │ │ ├── tractor/ │ │ ├── trailer/ │ ├── Town1_4/ │ ├── ... ├── val/ │ ├── Town3_0/ │ ├── ... ├── test/ │ ├── Town1_0/ │ ├── ...

许可证

• 许可证类型: MIT License
• 许可证链接: https://opensource.org/licenses/MIT

搜集汇总

数据集介绍

构建方式

TruckV2X数据集通过先进的仿真技术构建，采用Unreal Engine对半挂卡车进行高精度建模，并集成到CARLA仿真环境中作为交互式智能体。数据采集过程中，卡车配备了多模态传感器系统，包括分布于牵引车和挂车的四个64线激光雷达及五台环视摄像头，同时协同智能网联车(CAV)和路侧单元(RSU)构成多智能体感知网络。该数据集包含64个典型场景，涵盖城乡道路、高速公路及各类交叉口，通过精确的时空同步技术获取88,396帧激光雷达点云、百万级图像数据及118万三维标注框，所有对象均标注有边界框、ID、速度等多维属性信息。

特点

作为首个以重型车辆为核心的多模态协同感知数据集，TruckV2X最显著的特点是系统性刻画了卡车特有的感知挑战：通过精确模拟牵引车-挂车铰接运动产生的动态盲区，数据集包含1.5倍于普通车辆的基准遮挡率，转弯工况下遮挡区域更达70%以上。其创新性地构建了包含四种智能体（牵引车、挂车、CAV、RSU）的协同感知框架，传感器配置充分考虑卡车特殊几何结构，在牵引车顶部对角布置双激光雷达以覆盖长车身盲区。数据分布方面，场景持续时间平均345帧，对象类别包含7类交通参与者，其中重型车辆占比15%，充分反映真实交通组成。

使用方法

该数据集支持OpenCOOD框架下的协同感知研究，提供早期融合、中期融合和晚期融合三种基准方法实现。使用时需注意不同智能体间的坐标系转换，特别是牵引车与挂车间的动态位姿关联。评估采用mAP指标，针对重型车辆、轻型车辆和弱势道路使用者分别设置0.3/0.5/0.7三个IoU阈值。为准确反映遮挡场景下的感知性能，建议过滤每帧中激光雷达点数少于类别阈值（车辆15点、VRUs5点）的检测框。数据集已按13,243帧训练集、2,839帧验证集和6,017帧测试集划分，支持对象检测、多目标跟踪等典型任务，特别适用于研究铰接车辆带来的协同感知新挑战。

背景与挑战

背景概述

TruckV2X数据集由清华大学车辆与运载学院的研究团队于2025年7月发布，旨在解决自动驾驶卡车领域的关键感知挑战。作为首个以重型卡车为中心的多模态协同感知数据集，其创新性体现在整合了牵引车、挂车、网联自动驾驶车辆(CAV)和路侧单元(RSU)的多视角传感器数据。该数据集通过CARLA仿真平台构建，包含64个场景、8.8万帧激光雷达点云和百万级图像数据，重点攻克卡车庞大体积和铰接运动导致的盲区与遮挡问题，为开发具有强遮挡处理能力的协同感知系统奠定了数据基础。

当前挑战

该数据集面临双重技术挑战：在领域层面，需解决重型卡车因独特物理特性产生的感知难题——牵引车与挂车的动态铰接运动造成70%以上的观测遮挡，且低车速与大尺寸导致持续性环境不确定性；在构建层面，需突破多智能体时空同步、异构传感器标定、以及仿真环境中卡车物理建模精度等工程瓶颈。现有轻量级车辆数据集无法模拟卡车特有的40米长车身带来的多视角遮挡效应，而传统单智能体卡车数据集又缺乏V2X协同感知所需的多源数据融合机制。

常用场景

经典使用场景

TruckV2X数据集在自动驾驶卡车领域的研究中具有重要应用价值，特别是在处理卡车特有的感知挑战方面。该数据集通过多模态感知（LiDAR和摄像头）和多智能体协作（牵引车、拖车、CAV和RSU）的配置，为研究人员提供了丰富的场景数据，用于模拟卡车在复杂交通环境中的行为。其经典使用场景包括卡车盲区检测、动态拖车运动建模以及多智能体协作感知系统的开发。

实际应用

在实际应用中，TruckV2X数据集为物流行业和城市交通管理提供了重要支持。基于该数据集开发的协作感知系统可以显著提升卡车在复杂交通环境中的安全性，减少事故风险。此外，数据集还可用于优化卡车路线规划和车队管理，提高物流效率。在城市交通管理中，数据集支持智能交通基础设施的部署，提升整体交通流畅性和安全性。

衍生相关工作

TruckV2X数据集衍生了一系列相关研究工作，主要集中在卡车协作感知算法的开发与优化。例如，基于该数据集的早期、中期和晚期融合策略研究，为多智能体感知系统提供了新的技术路径。此外，数据集还激发了卡车作为移动感知平台的概念研究，探讨其在环境感知中的独特价值。这些工作不仅推动了卡车自动驾驶技术的发展，也为更广泛的智能交通系统研究提供了借鉴。