CoInfra

CoInfra是一个真实世界的大规模合作感知系统和数据集，旨在支持多智能体感知研究，特别是在恶劣天气条件下（雪、雨、冻雨）。它包括14个同步基础设施节点，每个节点配备一个LiDAR和双摄像头，部署在一个共享区域以实现全场景覆盖。数据集包含约195k LiDAR帧、390k摄像头图像、220k标注的3D边界框（涵盖5个类别：汽车、公交车、卡车、自行车、行人）、恶劣天气场景（晴天、雨天、雪天、冻雨）、高清地图以及摄像头-LiDAR和全局对齐的校准数据。CoInfra is a real-world large-scale cooperation-aware system and dataset designed to support multi-agent perception research, especially under adverse weather conditions including snow, rain, and freezing rain. It includes 14 synchronized infrastructure nodes, each equipped with one LiDAR and dual cameras, deployed in a shared area to achieve full scene coverage. The dataset contains approximately 195k LiDAR frames, 390k camera images, 220k annotated 3D bounding boxes covering 5 categories: car, bus, truck, bicycle, pedestrian, adverse weather scenarios (sunny, rainy, snowy, freezing rain), high-definition maps, as well as calibrated data for camera-LiDAR alignment and global alignment.

原始信息汇总

CoInfra数据集概述

数据集简介

• 名称：CoInfra (Cooperative Infrastructure Perception System and Dataset)
• 类型：多智能体感知数据集
• 特点：大规模、真实世界、恶劣天气条件下的协同感知
• 应用场景：多节点3D目标检测与跟踪、延迟感知同步、交互式环岛场景运动预测

数据规模与内容

• LiDAR帧数：约195,000帧
• 相机图像：约390,000张（双摄像头）
• 3D标注框：约220,000个
• 标注类别：5类（汽车、公交车、卡车、自行车、行人）
• 天气条件：晴天、雨天、雪天、冻雨
• 附加数据：
  • 高清地图(HD map)
  • 相机-LiDAR标定数据
  • 全局对齐数据

数据集下载

• 示例数据集：Mini Example Dataset
• 完整数据集获取方式：
  • 邮件联系：[e-mail]
  • HuggingFace下载：Download

基准实验结果

融合策略	使用HD地图	mAP(所有类别)
早期融合	✘	0.984
早期融合	✔️	0.986
后期融合	✘	0.931
后期融合	✔️	0.952

系统构建信息

硬件配置

• LiDAR：Robosense Helios 1615
• 相机：Basler dart daA1920-160uc全局快门RGB相机(双摄像头)
• 计算单元：NVIDIA Jetson Orin NX 16GB
• 供电系统：Renogy Wanderer 10A太阳能充电控制器
• 通信模块：工业级5G调制解调器

软件功能

• Web界面：多节点管理、OTA更新、实时可视化
• ROS传感器节点
• ROS云端系统

引用格式

bibtex @article{ning2025coinfra, title={CoInfra: A Large-Scale Cooperative Infrastructure Perception System and Dataset in Adverse Weather}, author={Ning, Minghao and Yang, Yufeng and Shu, Keqi and Huang, Shucheng and Zhong, Jiaming and Salehi, Maryam and Rahmani, Mahdi and Lu, Yukun and Sun, Chen and Saleh, Aladdin and Hashemi, Ehsan and Khajepour, Amir}, journal={arXiv preprint arXiv:2507.02245}, url={https://arxiv.org/abs/2507.02245}, year={2025} }

许可信息

• 许可证类型：CC BY-NC 4.0

搜集汇总

数据集介绍

构建方式

CoInfra数据集通过部署14个同步基础设施节点构建而成，每个节点配备激光雷达和双摄像头系统，覆盖共享区域的完整场景。数据采集在多种恶劣天气条件下进行，包括晴天、雨天、雪天和冻雨天气，确保数据的多样性和现实性。所有传感器数据经过严格的时间同步和空间标定，保证多源数据的一致性。数据集还包含高精地图和详细的校准数据，为多智能体感知研究提供了坚实基础。

特点

CoInfra数据集以其大规模和多样性著称，包含约19.5万帧激光雷达数据、39万张相机图像和22万个标注的3D边界框，涵盖5种目标类别。该数据集独特之处在于其恶劣天气条件下的数据采集，为研究极端环境下的感知算法提供了宝贵资源。数据集还提供完整的系统硬件配置方案和实时可视化工具，支持从数据采集到算法验证的全流程研究。多节点协同感知的架构设计使得该数据集特别适合研究分布式感知系统中的时间同步和融合算法。

使用方法

使用CoInfra数据集需先配置Python 3.10环境并安装依赖库。数据集提供2D和3D可视化工具，用户可通过修改BASE_FOLDER_PATH变量指定数据集路径。3D可视化支持交互式场景浏览和目标检测结果展示。研究人员可利用提供的基准实验比较不同融合策略性能，或基于ROS框架构建自定义协同感知系统。数据集下载需通过邮件申请或从HuggingFace获取，配套文档详细说明了数据格式和标注规范。

背景与挑战

背景概述

CoInfra数据集由加拿大滑铁卢大学MVS实验室于2025年发布，是一个专注于恶劣天气条件下协同感知的大规模基础设施数据集。该数据集由14个同步部署的感知节点构成，每个节点配备激光雷达和双摄像头系统，覆盖了包括雨雪冰冻等多种气象条件下的交通场景。作为首个系统性研究基础设施协同感知在恶劣环境中表现的数据集，CoInfra填补了自动驾驶领域在复杂气象条件下多源异构数据融合的研究空白，为三维目标检测、多智能体跟踪以及实时感知同步等关键问题提供了基准测试平台。

当前挑战

该数据集主要解决恶劣天气条件下协同感知系统的三大核心挑战：多节点传感器数据在雨雪干扰下的精确同步问题、低能见度环境中的三维目标识别难题，以及异构设备间实时通信延迟的补偿机制。在构建过程中，研究团队面临极端天气条件下的设备稳定性维护、大规模点云与图像数据的时空对齐，以及多模态标注一致性等工程技术挑战。特别是冻结降雨场景中，激光雷达点云的信噪比急剧下降，这对数据质量控制和标注规范提出了极高要求。

常用场景

经典使用场景

在智能交通系统研究中，CoInfra数据集为多智能体协同感知提供了关键支持。通过14个同步基础设施节点采集的LiDAR和双摄像头数据，研究者能够在雨雪等恶劣天气条件下，实现全场景覆盖的三维物体检测与跟踪。该数据集特别适用于环形交叉路口等复杂交通场景，为多节点数据融合与实时感知算法开发奠定了坚实基础。

解决学术问题

CoInfra有效解决了恶劣天气环境下协同感知系统的数据稀缺问题。其大规模标注数据支持多模态传感器融合研究，特别是针对延迟感知同步、跨节点目标关联等关键技术挑战。数据集提供的HD地图和标定数据，显著提升了三维重建精度，为自动驾驶系统在极端天气条件下的可靠性研究提供了重要基准。

衍生相关工作

围绕CoInfra数据集已产生多项创新研究，包括基于BEV投影的早期/晚期融合算法比较、动态目标运动预测模型等。相关工作发表在IEEE ITS等顶级期刊，部分成果被集成至ROS框架形成开源工具链。数据集还启发了新型恶劣天气仿真系统的开发，推动着协同感知领域的算法鲁棒性研究。