INFRA-3DRC Dataset

INFRA-3DRC数据集是一个公共数据集，由智能路边基础设施设置记录的3D汽车雷达和RGB相机数据组成。数据集包含25个场景，记录自不同的地理位置和光照条件，包括日光、黄昏和夜晚。数据集中的每个雷达帧包含点级标注，每个相机图像以2D边界框形式标注。此外，还包括校准和时间同步的3D激光雷达传感器帧，但这些帧未标注。数据集共包含2768帧，涵盖相机、雷达和激光雷达传感器，以及4172个相机标注实例和4074个雷达标注实例，涉及6个对象类别。

The INFRA-3DRC dataset is a public dataset comprising 3D automotive radar and RGB camera data recorded from intelligent roadside infrastructure setups. The dataset encompasses 25 scenes captured under various geographical locations and lighting conditions, including daylight, dusk, and nighttime. Each radar frame in the dataset includes point-level annotations, while each camera image is annotated with 2D bounding boxes. Additionally, the dataset features calibrated and time-synchronized 3D LiDAR sensor frames, although these frames remain unannotated. In total, the dataset contains 2768 frames across camera, radar, and LiDAR sensors, along with 4172 camera annotation instances and 4074 radar annotation instances, covering 6 object categories.

原始信息汇总

INFRA-3DRC Dataset 概述

数据集简介

INFRA-3DRC Dataset 是一个公开的数据集，由智能路边基础设施（即智能基础设施）生成的3D汽车雷达和RGB相机数据组成。该数据集包含校准、时间同步和标注的传感器帧，包括3D汽车雷达、RGB单目相机和3D激光雷达的帧。每个雷达帧包含点级标注，相机图像则以2D边界框的形式标注。数据集共包含25个场景，来自不同地理位置和光照条件（白天、黄昏和夜晚），总计2768帧的相机、雷达和激光雷达传感器数据。相机标注有4172个实例，雷达标注有4074个实例，涵盖六个对象类别：成人、群体、自行车、摩托车、汽车和公交车。

传感器设置

• RGB单目相机：型号CP-5260 rev 2，配备8mm镜头C-mount。
• 3D汽车雷达：大陆LRR ARS548。
• 3D激光雷达：Ouster OS1-64通道。

所有传感器安装在可伸缩的三脚架上，以便于模块化和灵活的数据收集。

SDK用户指南

SDK作为Python包，可从pypi下载。源代码托管于GitHub。详细的用户指南和示例可在SDK用户指南中找到。

数据集格式

数据集结构如下：

├── INFRA-3DRC_scene-01 ├── camera_01 ├── camera_01__annotation - 包含每个相机图像的json文件 ├── camera_01__data - 包含相机图像的png文件 ├── radar_01 ├── radar_01__annotation - 包含每个雷达帧的json文件 ├── radar_01__data - 包含每个雷达帧的pcd文件 ├── lidar_01 ├── lidar_01__data - 包含每个激光雷达帧的pcd文件 ├── calibration.json - 包含外部和内部校准矩阵 └── scene.json - 包含场景的元数据

数据集下载

数据集下载链接请参考数据集下载页面。

标注格式

数据集包含3D汽车雷达传感器和RGB相机图像的标注。详细信息请参阅标注详情页面。

许可证

数据集及其相关代码根据CC BY-NC 4.0许可证发布，仅允许用于研究、教学和学术目的。禁止用于任何商业应用。如需商业使用，请联系我们。

引用信息

@ARTICLE{10459049, author={Agrawal, Shiva and Bhanderi, Savankumar and Elger, Gordon}, journal={IEEE Access}, title={Semi-Automatic Annotation of 3D Radar and Camera for Smart Infrastructure-Based Perception}, year={2024}, volume={12}, pages={34325-34341}, doi={10.1109/ACCESS.2024.3373310}}

@misc{infra_3drc, author = {Shiva Agrawal and Savankumar Bhanderi}, title = {INFRA-3DRC dataset}, version = {1.0.0}, year = {2024}, url = {https://github.com/FraunhoferIVI/INFRA-3DRC-Dataset}, orcid = {0000-0001-8633-341X, 0000-0001-7257-6736}, doi = {10.24406/fordatis/297}, license = {CC BY-NC 4.0} }

联系方式

• Shiva Agrawal: [e-mail]
• Savankumar Bhanderi: [e-mail]

搜集汇总

数据集介绍

构建方式

INFRA-3DRC数据集通过智能基础设施系统生成，该系统集成了RGB单目相机、3D汽车雷达和3D激光雷达传感器。所有传感器均经过校准和时间同步，确保数据的一致性和准确性。数据集涵盖了25个不同地理位置和光照条件（如白天、黄昏和夜间）的场景，共包含2768帧图像，涵盖了六类交通对象的标注。雷达数据以点云形式提供，相机图像则通过2D边界框进行标注，确保了多模态数据的完整性和可用性。

特点

INFRA-3DRC数据集的显著特点在于其多模态数据的融合，包括3D雷达、RGB相机和激光雷达的同步数据。数据集不仅提供了丰富的传感器数据，还通过精确的标注确保了数据的实用性。此外，数据集在不同光照条件下的多样性场景，使其在自动驾驶和智能交通系统研究中具有广泛的应用潜力。

使用方法

用户可通过提供的软件开发工具包（SDK）访问和处理数据集，SDK支持Python语言，并提供了详细的示例和用户指南。数据集的文件结构清晰，每个场景包含相机、雷达和激光雷达的数据及其对应的标注文件。用户可通过下载页面获取数据集，并根据研究需求进行数据分析和模型训练。

背景与挑战

背景概述

INFRA-3DRC数据集是由德国巴伐利亚州经济事务、区域发展和能源部（StMWi）资助的‘智能基础设施’项目的一部分，旨在通过智能路边基础设施生成包含3D汽车雷达和RGB摄像头数据的公共数据集。该数据集由Fraunhofer IVI研究所的主要研究人员Shiva Agrawal和Savankumar Bhanderi创建，包含25个不同地理位置和光照条件下的场景，涵盖白天、黄昏和夜间等多种环境。数据集的核心研究问题在于通过时间同步和校准的多传感器数据，提升智能基础设施在交通感知中的应用，特别是对行人、车辆等交通参与者的精准识别与跟踪。该数据集的发布对智能交通系统和自动驾驶领域的研究具有重要推动作用。

当前挑战

INFRA-3DRC数据集在构建过程中面临多项挑战。首先，多传感器数据的时间同步与校准是技术难点，确保雷达、摄像头和激光雷达数据在时间与空间上的精确对齐。其次，数据集的匿名化处理需遵循欧洲GDPR隐私法规，使用最先进的算法对人脸和车牌进行匿名化，这在技术实现上具有一定复杂性。此外，数据集的标注工作涉及大量点云和图像的精确标注，尤其是3D雷达数据的点云标注，需确保标注的准确性和一致性。最后，数据集的多样性要求涵盖不同光照条件和地理环境，增加了数据采集和处理的难度。

常用场景

经典使用场景

INFRA-3DRC数据集在智能基础设施领域中展现了其经典应用场景，主要用于多传感器融合感知任务。通过结合3D汽车雷达、RGB单目相机和3D激光雷达的数据，该数据集为研究人员提供了时间同步和校准的多模态数据，特别适用于自动驾驶和智能交通系统的开发与测试。其丰富的场景覆盖，包括白天、黄昏和夜间等多种光照条件，使得该数据集成为研究多传感器融合算法和环境感知的理想选择。

实际应用

在实际应用中，INFRA-3DRC数据集广泛应用于自动驾驶车辆的感知系统开发与测试。通过模拟真实交通场景，该数据集帮助开发者在不同光照和天气条件下验证和优化传感器融合算法，从而提高自动驾驶系统的鲁棒性和安全性。此外，智能交通管理系统也可利用该数据集进行交通流量分析和异常行为检测，进一步提升了城市交通的智能化水平。

衍生相关工作

基于INFRA-3DRC数据集，已衍生出多项经典工作，主要集中在多传感器融合算法的研究与优化。例如，研究者利用该数据集开发了新的雷达与相机数据融合模型，显著提升了目标检测的精度和鲁棒性。此外，该数据集还促进了自动驾驶领域的多模态数据处理技术的研究，推动了相关算法的创新与应用。这些工作不仅丰富了智能基础设施领域的研究成果，也为未来的技术发展奠定了坚实基础。