RoboSense

RoboSense数据集由上海交通大学和SenseAuto研究共同创建，专注于低速自动驾驶车辆的近场场景理解。该数据集包含超过133,000帧同步数据，覆盖7,600多个时间序列，标注了140万个3D边界框和轨迹ID。数据集通过多种传感器（摄像头、激光雷达和鱼眼镜头）收集，确保了全方位的视角覆盖。创建过程中，数据集在多种场景下进行了采集和标注，特别关注了近距离障碍物的检测和跟踪。RoboSense数据集的应用领域主要集中在自动驾驶技术的研究，特别是在低速环境下的障碍物感知和预测任务。

RoboSense Dataset was co-created by Shanghai Jiao Tong University and SenseAuto Research, focusing on near-field scene understanding for low-speed autonomous vehicles. This dataset contains over 133,000 frames of synchronized data, covering more than 7,600 time series, with 1.4 million annotated 3D bounding boxes and track IDs. It is collected via multiple sensors including cameras, LiDARs, and fisheye lenses, ensuring comprehensive coverage of perspectives. During its creation, the dataset was collected and annotated across various scenarios, with particular emphasis on the detection and tracking of close-range obstacles. The RoboSense Dataset is primarily applied to autonomous driving technology research, especially for obstacle perception and prediction tasks in low-speed environments.

搜集汇总

数据集介绍

构建方式

RoboSense数据集的构建基于一个多模态数据采集平台，该平台整合了三种主要类型的传感器（摄像头、激光雷达和鱼眼镜头），以支持灵活的传感器配置，从而实现自车动态视野的扩展，无论是全局视野还是局部视野。数据集包含了超过133,000帧同步数据，其中包含140万个3D边界框和ID标注，覆盖了360度的全视野，形成了21.6万个轨迹，跨越7,600个时间序列。与之前的单一车辆数据集如KITTI和nuScenes相比，RoboSense在近场障碍物（5米内）的标注数量上分别增加了270倍和18倍。此外，RoboSense还定义了一种新的近场3D感知和预测指标匹配标准。

使用方法

RoboSense数据集可用于多种自动驾驶任务的研究，包括多视角3D检测、激光雷达3D检测、多模态3D检测、多目标3D跟踪、运动预测和占用预测。研究人员可以根据需要选择不同的传感器组合作为输入，进行灵活的场景理解实验。数据集还支持多任务端到端训练方案，用于评估联合优化的效果。通过RoboSense，研究人员可以推动近场环境感知和预测算法的发展，从而提升无人驾驶车辆在复杂场景中的智能能力。

背景与挑战

背景概述

近年来，自动驾驶技术取得了显著进展，特别是在高速和城市环境中。然而，低速自动驾驶场景，如校园、景区、机场和公园等封闭或半封闭区域，由于其特定的应用场景和可控成本，逐渐成为新的行业焦点。这些场景中的无人功能车辆，如拖拉机、清扫车、零售和配送车，更接近L4级自动驾驶的落地目标。为了推动低速自动驾驶技术的发展，上海交通大学和SenseAuto Research的研究团队创建了RoboSense数据集。该数据集基于三种主要传感器（摄像头、激光雷达和鱼眼相机）构建，支持灵活的传感器配置，以实现动态视野。RoboSense数据集包含超过133K同步数据，带有1.4M个3D边界框和ID标注，形成了216K条轨迹，跨越7.6K个时间序列。该数据集特别关注近场场景理解，为相关研究提供了丰富的资源。

当前挑战

RoboSense数据集在构建过程中面临多项挑战。首先，近场障碍物的检测和跟踪在自动驾驶中具有重要意义，但由于驾驶条件的复杂性和近场障碍物的多样性（如盲点和高度遮挡），近场环境的感知能力仍然较弱。其次，现有的自动驾驶数据集主要针对高速场景，传感器数据大多来自高速公路或城市道路，缺乏近距离障碍物的数据。因此，基于这些数据集训练的自动驾驶模型往往更关注远距离物体，而非近场障碍物。此外，低速场景中的障碍物多样性有限，通常仅包括车辆和弱势道路使用者（VRU），这使得现有模型难以满足低速车辆在复杂场景中的性能要求。为了填补高速和低速自动驾驶之间的差距，RoboSense数据集通过收集多样化的场景和障碍物数据，为近场自动驾驶算法的研究提供了新的基准。

常用场景

经典使用场景

RoboSense数据集在低速自动驾驶领域中被广泛用于近场场景理解的研究。其经典使用场景包括校园、景区、机场和公园等封闭或半封闭区域，这些场景中的低速无人车辆需要对周围环境进行精确感知和预测。数据集通过多模态传感器（如摄像头、激光雷达和鱼眼相机）采集的数据，支持动态视野配置，从而实现对车辆周围环境的全面理解。

解决学术问题

RoboSense数据集解决了低速自动驾驶中近场障碍物感知和预测的常见学术问题。由于低速场景中障碍物多样且密集，传统的远场感知数据集无法满足需求。RoboSense通过提供超过133K帧的同步数据和1.4M个3D边界框标注，显著提升了近场障碍物的感知能力，推动了相关算法的发展，具有重要的学术意义和影响力。

实际应用

在实际应用中，RoboSense数据集被用于开发和验证低速无人车辆的感知和预测算法。例如，在校园清洁车、景区导览车和机场物流车等应用中，车辆需要对周围环境进行实时感知和预测，以确保安全和高效的运行。数据集的多模态数据和高精度标注为这些应用提供了可靠的技术支持。

数据集最近研究

最新研究方向

在低速自动驾驶领域，RoboSense数据集的最新研究方向主要集中在近场场景理解与多传感器融合技术上。随着无人驾驶功能的车辆需求增加，近场障碍物的感知与跟踪成为关键研究课题。由于驾驶环境的复杂性和近场障碍物的高遮挡率，现有的感知能力仍显不足。为此，研究者们致力于构建多模态数据采集平台，结合摄像头、激光雷达和鱼眼相机，以实现车辆的全方位动态视野。此外，RoboSense数据集通过提供超过133K同步数据和1.4M 3D边界框标注，推动了近场场景理解的研究。这些研究不仅提升了无人车辆的智能水平，还为相关技术的发展提供了详尽的基准测试。

相关研究论文

• RoboSense: Large-scale Dataset and Benchmark for Multi-sensor Low-speed Autonomous Driving

  上海交通大学计算机科学与工程系，SenseAuto研究 · 2024年