R-LiViT

arXiv2025-03-21 更新2025-03-25 收录

下载链接：

http://arxiv.org/abs/2503.17122v1

下载链接

链接失效反馈

资源简介：

R-LiViT数据集是由德国XITASO GmbH和LiangDao GmbH共同创建的多模态交通场景数据集，专注于 Vulnerable Road Users（VRUs）的检测。该数据集结合了LiDAR、RGB和热成像技术，从路边视角捕捉了三个交通交叉口的日间和夜间场景，包含10,000个LiDAR帧和2,400个时空对齐的RGB和热成像图片。数据集标注了6种LiDAR类别和8种RGB-T类别，支持2D/3D对象检测和3D对象跟踪任务，为自动驾驶系统中的VRU检测提供了全面的感知数据资源。

提供机构：

德国XITASO GmbH和LiangDao GmbH

创建时间：

2025-03-21

AI搜集汇总

数据集介绍

构建方式

R-LiViT数据集通过集成激光雷达（LiDAR）、可见光（RGB）和热成像（Thermal）三种传感器，构建了一个多模态的路边感知数据集。数据采集于德国三个交通繁忙的交叉路口，覆盖白天和夜间场景，以确保数据的多样性。传感器系统包括一个RGB相机、一个热成像相机和两个激光雷达传感器，通过GPS和硬件触发实现时间同步。数据标注采用半自动流程，专业标注员对每帧数据进行人工审核和修正，确保高质量的2D和3D边界框标注。数据集包含10,000帧激光雷达数据和2,400对齐的RGB-热成像图像，标注了行人、车辆等多个类别。

特点

R-LiViT数据集的特点在于其多模态性和对弱势道路使用者（VRUs）的特别关注。数据集结合了激光雷达的精确3D测距能力、RGB相机的丰富语义信息以及热成像在低光照条件下的优势，为复杂交通场景下的感知任务提供了全面支持。数据集中VRUs（如行人和骑行者）的标注密度显著高于其他类别，且覆盖了白天和夜间场景，增强了数据集的实用性。此外，数据集还提供了时间同步的多模态数据，支持对象检测、跟踪等多种任务。

使用方法

R-LiViT数据集可用于多种自动驾驶感知任务，包括3D/2D对象检测、多目标跟踪以及多模态数据融合研究。用户可以通过公开的数据集和评估代码复现论文中的基准测试结果。数据集已按序列划分为训练集（80%）和测试集（20%），确保数据独立性。研究人员可以利用该数据集开发或验证针对VRUs的感知算法，特别是在低光照条件下的多模态融合方法。此外，数据集还支持图像匿名化研究，已验证匿名化处理对模型性能无显著影响。

背景与挑战

背景概述

R-LiViT数据集由XITASO GmbH和LiangDao GmbH的研究团队于2025年发布，旨在推动自动驾驶领域中路边感知系统的研究。该数据集首次整合了LiDAR、RGB和热成像三种模态，专注于城市交通场景中的弱势道路使用者（VRUs），如行人和骑行者。数据采集于德国三个事故高发路口，涵盖昼夜不同光照条件，包含10,000帧LiDAR数据和2,400组时空对齐的RGB-热成像图像，标注了6至8个目标类别。R-LiViT填补了现有数据集中多模态融合与VRU聚焦研究的空白，为3D/2D目标检测、跟踪等任务提供了重要资源。

当前挑战

R-LiViT数据集面临的挑战主要体现在两方面：领域问题层面，现有路边感知数据集多侧重车辆目标，而VRU检测在复杂光照（如夜间或强眩光）下的鲁棒性仍待提升，需探索多模态（尤其是热成像）融合的优化方法；构建层面，跨模态时空对齐精度要求高，LiDAR与RGB-热成像的视场差异导致标注一致性难以保障，且需平衡数据匿名化（如人脸模糊）与模型训练效果的冲突。此外，稀疏点云目标（如远距离VRU）的标注与跟踪、多传感器同步误差（如40ms最大延迟）均为技术难点。

常用场景

经典使用场景

R-LiViT数据集在自动驾驶领域的研究中，特别是在路边感知系统中，发挥了重要作用。该数据集结合了LiDAR、RGB和热成像三种模态，专注于城市交通场景中的弱势道路使用者（VRUs）检测。其经典使用场景包括在复杂光照条件下（如夜间或强光环境）进行多模态目标检测和跟踪，为研究者提供了一个全面的资源来验证和改进算法性能。

衍生相关工作

R-LiViT数据集已经衍生出多项相关经典工作。基于该数据集，研究者们开发了多种多模态目标检测和跟踪算法，特别是在热成像与RGB图像融合方面取得了显著进展。此外，该数据集还被用于验证和改进现有的3D目标检测模型（如PointPillars、PV-RCNN）和3D多目标跟踪方法（如AB3DMOT），推动了路边感知技术的进一步发展。

数据集最近研究