RCooper

RCooper是一个真实世界的大规模数据集，用于路边协同感知。

RCooper is a large-scale real-world dataset designed for roadside cooperative perception.

原始信息汇总

数据集概述

数据集名称： RCooper 数据集描述： RCooper是一个真实世界的大规模数据集，专为路边协同感知设计。它是CVPR2024论文"RCooper: A Real-world Large-scale Dataset for Roadside Cooperative Perception"的官方实现。

数据下载

数据集下载链接位于页面底部，下载后数据应按照以下结构组织： shell ├── RCooper │ ├── calib | |── lidar2cam | |── lidar2world │ ├── data | |── folders named specific scene index │ ├── labels | |── folders named specific scene index │ ├── original_label | |── folders named specific scene index

数据转换

RCooper数据集支持转换到其他流行的公开协同感知数据集，如DAIR-V2X、V2V4Real和OPV2V。转换后，研究人员可以直接使用多种开源框架。

快速开始

数据集提供了详细的训练和推理指南，包括检测和跟踪的场景特定文档。所有发布的检查点都可在codes/ckpts/中找到。

基准测试结果

协同3D物体检测结果（走廊场景）

方法	AP@0.3	AP@0.5	AP@0.7	下载链接
No Fusion	40.0	29.2	11.1	url
Late Fusion	44.5	29.9	10.8	url
Early Fusion	69.8	54.7	30.3	url
AttFuse	62.7	51.6	32.1	url
F-Cooper	65.9	55.8	36.1	url
Where2Comm	67.1	55.6	34.3	url
CoBEVT	67.6	57.2	36.2	url

协同3D物体检测结果（交叉口场景）

方法	AP@0.3	AP@0.5	AP@0.7	下载链接
No Fusion	58.1	44.1	23.8	url
Late Fusion	65.1	47.6	24.4	url
Early Fusion	50.0	33.9	18.3	url
AttFuse	45.5	40.9	27.9	url
F-Cooper	49.5	32.0	12.9	url
Where2Comm	50.5	42.2	29.9	url
CoBEVT	53.5	45.6	32.6	url

协同跟踪结果（走廊场景）

方法	AMOTA(↑)	AMOTP(↑)	sAMOTA(↑)	MOTA(↑)	MT(↑)	ML(↓)
No Fusion	8.28	22.74	34.05	23.89	17.34	42.71
Late Fusion	9.60	25.77	35.64	24.75	24.37	42.96
Early Fusion	23.78	38.18	59.16	44.30	53.02	12.81
AttFuse	21.75	35.31	57.43	44.50	45.73	22.86
F-Cooper	22.47	35.54	58.49	45.94	47.74	22.11
Where2Comm	22.55	36.21	59.60	46.11	50.00	19.60
CoBEVT	21.54	35.69	53.85	47.32	47.24	18.09

协同跟踪结果（交叉口场景）

方法	AMOTA(↑)	AMOTP(↑)	sAMOTA(↑)	MOTA(↑)	MT(↑)	ML(↓)
No Fusion	18.11	39.71	58.29	49.16	35.32	41.64
Late Fusion	21.57	43.40	63.02	50.58	42.75	34.20
Early Fusion	21.38	47.71	62.93	50.15	36.80	42.75
AttFuse	11.84	36.63	46.92	39.32	29.00	53.90
F-Cooper	-4.86	14.71	0.00	-45.66	11.52	50.56
Where2Comm	14.21	38.48	50.97	42.27	29.00	45.72
CoBEVT	14.82	38.71	49.04	44.67	33.83	35.69

引用

若您发现RCooper对您的研究或应用有帮助，请考虑给我们一个星标🌟并通过以下BibTeX条目引用。 shell @inproceedings{hao2024rcooper, title={RCooper: A Real-world Large-scale Dataset for Roadside Cooperative Perception}, author={Hao, Ruiyang and Fan, Siqi and Dai, Yingru and Zhang, Zhenlin and Li, Chenxi and Wang, Yuntian and Yu, Haibao and Yang, Wenxian and Jirui, Yuan and Nie, Zaiqing}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, year={2024}, pages={22347-22357} }

搜集汇总

数据集介绍

构建方式

RCooper数据集的构建基于真实世界的大规模道路场景，旨在支持路边协同感知研究。该数据集通过多传感器融合技术，收集了包括激光雷达、摄像头等多种传感器的数据，并结合高精度的标注信息，形成了丰富的场景数据。数据集的组织结构清晰，包含校准信息、原始数据、标签及原始标注等多个子目录，确保了数据的完整性和可复现性。

特点

RCooper数据集的显著特点在于其大规模的真实世界数据采集，涵盖了多种复杂的道路场景，如走廊和交叉路口。数据集支持多种格式的转换，便于研究人员在不同框架下进行实验。此外，数据集提供了详细的基准测试结果，涵盖了多种协同感知方法的性能评估，为研究者提供了有力的参考。

使用方法

使用RCooper数据集时，用户首先需从指定网站下载数据，并按照规定的目录结构进行组织。数据集支持多种格式的转换，用户可根据需求将其转换为DAIR-V2X、V2V4Real或OPV2V等格式。对于检测和跟踪任务，数据集提供了详细的训练和推理指南，用户可通过设置PYTHONPATH来调用相关代码。此外，数据集还提供了预训练模型，用户可直接下载并应用于实际场景中。

背景与挑战

背景概述

RCooper数据集是由Ruiyang Hao、Siqi Fan等研究人员于2024年创建的，旨在为路边协同感知领域提供一个大规模的真实世界数据集。该数据集的核心研究问题聚焦于通过多传感器融合技术提升道路环境中的感知能力，特别是在复杂交通场景下的3D目标检测与跟踪任务。RCooper的发布不仅填补了该领域的数据空白，还为自动驾驶和智能交通系统的发展提供了重要的研究基础。其影响力体现在为学术界和工业界提供了一个标准化的测试平台，推动了协同感知技术的进步。

当前挑战

RCooper数据集在构建过程中面临多重挑战。首先，数据集的规模庞大，涵盖了多种复杂场景，如走廊和交叉路口，这要求在数据采集和标注过程中保持高精度和一致性。其次，协同感知技术的实现依赖于多传感器数据的融合，如何有效整合来自不同传感器的信息并减少噪声干扰，是该领域的核心难题。此外，数据集的多样性和动态性也增加了模型训练的复杂性，尤其是在处理实时数据和应对环境变化时。这些挑战不仅推动了数据集的构建，也为后续的研究提出了更高的要求。

常用场景

经典使用场景

RCooper数据集在道路协同感知领域中具有经典的使用场景，主要用于评估和优化协同3D目标检测与跟踪算法。通过提供大规模的真实世界数据，该数据集支持研究人员在不同交通场景（如走廊和交叉路口）中测试和验证其算法性能。其丰富的标注信息和多模态数据（如激光雷达和摄像头数据）使得RCooper成为协同感知研究中的重要基准。

解决学术问题

RCooper数据集解决了道路协同感知中的关键学术问题，特别是在多传感器融合和跨设备通信的挑战。通过提供真实世界的复杂场景数据，该数据集帮助研究人员克服了传统数据集在规模和多样性上的不足，推动了协同感知算法在精度和鲁棒性上的提升。其对3D目标检测和跟踪任务的支持，为自动驾驶和智能交通系统的发展提供了重要的理论和实践基础。

衍生相关工作

RCooper数据集的发布催生了一系列相关的经典工作，特别是在协同感知和多传感器融合领域。例如，基于RCooper的研究推动了如AttFuse、F-Cooper和Where2Comm等算法的开发与优化。这些算法在RCooper的基准测试中表现出色，展示了其在复杂交通场景中的有效性。此外，RCooper的数据转换工具也促进了与其他知名数据集（如DAIR-V2X和V2V4Real）的兼容性研究，进一步扩展了其影响力。