R-LiViT

R-LiViT数据集是由德国XITASO GmbH和LiangDao GmbH共同创建的多模态交通场景数据集，专注于 Vulnerable Road Users（VRUs）的检测。该数据集结合了LiDAR、RGB和热成像技术，从路边视角捕捉了三个交通交叉口的日间和夜间场景，包含10,000个LiDAR帧和2,400个时空对齐的RGB和热成像图片。数据集标注了6种LiDAR类别和8种RGB-T类别，支持2D/3D对象检测和3D对象跟踪任务，为自动驾驶系统中的VRU检测提供了全面的感知数据资源。

The R-LiViT Dataset is a multimodal traffic scene dataset jointly created by XITASO GmbH and LiangDao GmbH of Germany, focusing on the detection of Vulnerable Road Users (VRUs). This dataset integrates LiDAR, RGB and thermal imaging technologies, capturing day and night traffic scenarios at three intersections from a roadside perspective. It contains 10,000 LiDAR frames and 2,400 spatially and temporally aligned RGB and thermal imaging images. The dataset annotates 6 LiDAR categories and 8 RGB-T categories, supporting 2D/3D object detection and 3D object tracking tasks, and provides comprehensive perceptual data resources for VRU detection in autonomous driving systems.

搜集汇总

数据集介绍

构建方式

R-LiViT数据集通过集成激光雷达（LiDAR）、可见光（RGB）和热成像（Thermal）三种传感器，构建了一个多模态的路边感知数据集。数据采集于德国三个交通繁忙的交叉路口，覆盖白天和夜间场景，以确保数据的多样性。传感器系统包括一个RGB相机、一个热成像相机和两个激光雷达传感器，通过GPS和硬件触发实现时间同步。数据标注采用半自动流程，专业标注员对每帧数据进行人工审核和修正，确保高质量的2D和3D边界框标注。数据集包含10,000帧激光雷达数据和2,400对齐的RGB-热成像图像，标注了行人、车辆等多个类别。

特点

R-LiViT数据集的特点在于其多模态性和对弱势道路使用者（VRUs）的特别关注。数据集结合了激光雷达的精确3D测距能力、RGB相机的丰富语义信息以及热成像在低光照条件下的优势，为复杂交通场景下的感知任务提供了全面支持。数据集中VRUs（如行人和骑行者）的标注密度显著高于其他类别，且覆盖了白天和夜间场景，增强了数据集的实用性。此外，数据集还提供了时间同步的多模态数据，支持对象检测、跟踪等多种任务。

使用方法

R-LiViT数据集可用于多种自动驾驶感知任务，包括3D/2D对象检测、多目标跟踪以及多模态数据融合研究。用户可以通过公开的数据集和评估代码复现论文中的基准测试结果。数据集已按序列划分为训练集（80%）和测试集（20%），确保数据独立性。研究人员可以利用该数据集开发或验证针对VRUs的感知算法，特别是在低光照条件下的多模态融合方法。此外，数据集还支持图像匿名化研究，已验证匿名化处理对模型性能无显著影响。

背景与挑战

背景概述

R-LiViT数据集由XITASO GmbH和LiangDao GmbH的研究团队于2025年发布，旨在推动自动驾驶领域中路边感知系统的研究。该数据集首次整合了LiDAR、RGB和热成像三种模态，专注于城市交通场景中的弱势道路使用者（VRUs），如行人和骑行者。数据采集于德国三个事故高发路口，涵盖昼夜不同光照条件，包含10,000帧LiDAR数据和2,400组时空对齐的RGB-热成像图像，标注了6至8个目标类别。R-LiViT填补了现有数据集中多模态融合与VRU聚焦研究的空白，为3D/2D目标检测、跟踪等任务提供了重要资源。

当前挑战

R-LiViT数据集面临的挑战主要体现在两方面：领域问题层面，现有路边感知数据集多侧重车辆目标，而VRU检测在复杂光照（如夜间或强眩光）下的鲁棒性仍待提升，需探索多模态（尤其是热成像）融合的优化方法；构建层面，跨模态时空对齐精度要求高，LiDAR与RGB-热成像的视场差异导致标注一致性难以保障，且需平衡数据匿名化（如人脸模糊）与模型训练效果的冲突。此外，稀疏点云目标（如远距离VRU）的标注与跟踪、多传感器同步误差（如40ms最大延迟）均为技术难点。

常用场景

经典使用场景

R-LiViT数据集在自动驾驶领域的研究中，特别是在路边感知系统中，发挥了重要作用。该数据集结合了LiDAR、RGB和热成像三种模态，专注于城市交通场景中的弱势道路使用者（VRUs）检测。其经典使用场景包括在复杂光照条件下（如夜间或强光环境）进行多模态目标检测和跟踪，为研究者提供了一个全面的资源来验证和改进算法性能。

衍生相关工作

R-LiViT数据集已经衍生出多项相关经典工作。基于该数据集，研究者们开发了多种多模态目标检测和跟踪算法，特别是在热成像与RGB图像融合方面取得了显著进展。此外，该数据集还被用于验证和改进现有的3D目标检测模型（如PointPillars、PV-RCNN）和3D多目标跟踪方法（如AB3DMOT），推动了路边感知技术的进一步发展。

数据集最近研究

最新研究方向

随着自动驾驶技术的快速发展，R-LiViT数据集作为首个融合LiDAR、RGB和热成像技术的路侧感知数据集，为弱势道路使用者（VRUs）的安全检测提供了重要支持。该数据集在极端光照条件下的VRU检测方面表现出色，填补了现有数据集中热成像技术应用的空白。前沿研究方向主要集中在多模态传感器融合、低光照条件下的目标检测与跟踪，以及跨模态数据对齐技术的优化。R-LiViT的发布不仅推动了自动驾驶路侧感知系统的研究，还为交通管理平台提供了高质量的数据支持，具有重要的实际应用价值。

相关研究论文

• R-LiViT: A LiDAR-Visual-Thermal Dataset Enabling Vulnerable Road User Focused Roadside Perception

  德国XITASO GmbH和LiangDao GmbH · 2025年