InfraParis

InfraParis是一个专为自动驾驶设计的多模态多任务数据集，由国立高等先进技术学院创建。该数据集包含7301个精心标注的多模态数据片段，涵盖RGB、深度和红外图像，支持语义分割、目标检测和深度估计等多种任务。数据集收集自巴黎及其周边地区的多样化场景，包括城市、郊区和高速公路，反映了不同的人流密度和环境条件。此外，数据收集时间正值巴黎为即将到来的奥运会做准备，增加了数据集的复杂性和挑战性。InfraParis数据集的建立，旨在解决自动驾驶领域中跨模态和任务的适应性问题，为研究者提供了一个宝贵的资源，以开发更适应和可靠的自动驾驶系统。

InfraParis is a multimodal, multi-task dataset designed specifically for autonomous driving, created by the École Nationale Supérieure de Techniques Avancées. It contains 7301 meticulously annotated multimodal data clips, covering RGB, depth and infrared images, and supports multiple tasks such as semantic segmentation, object detection and depth estimation. The dataset was collected from diverse scenarios in Paris and its surrounding areas, including urban, suburban and highway environments, reflecting different pedestrian flow densities and environmental conditions. Additionally, the data collection period coincided with Paris preparing for the upcoming Olympic Games, which increased the complexity and challenge of the dataset. The establishment of the InfraParis dataset aims to address cross-modal and task adaptation issues in the field of autonomous driving, providing researchers with a valuable resource for developing more adaptable and reliable autonomous driving systems.

搜集汇总

数据集介绍

构建方式

在自动驾驶视觉感知领域，多模态数据的融合对于提升模型在复杂环境下的鲁棒性至关重要。InfraParis数据集的构建采用了严谨的采集与标注流程，通过在巴黎大都会区及周边多样化场景中部署车载多传感器系统完成。数据采集使用Stereolabs ZED 2立体相机同步获取RGB图像与深度图，并配合Optris PI 450i红外相机采集8-14µm长波红外光谱数据。所有相机经过刚性固定与精密校准，确保多模态数据的时空对齐。标注工作遵循Cityscapes数据集类别体系，由专业标注团队对RGB图像进行像素级语义分割与实例标注，再通过重投影技术将标注迁移至红外与深度模态，最终经过多轮质量校验形成包含7,301组有效样本的高质量数据集。

特点

该数据集的核心特征体现在其多模态与多任务设计的系统性。InfraParis首次在自动驾驶场景中实现了RGB、深度与红外三种模态数据的同步采集与全标注，覆盖19个语义类别。其地理多样性涵盖巴黎城区、郊区及高速公路等多种场景，特别融入了奥运筹备期的动态施工环境与后疫情时代的社会特征，增强了场景的复杂性与真实性。数据集的模态差异性为域适应研究提供了天然实验场，红外模态的热辐射特性能够有效补充传统视觉在夜间、低光照及恶劣天气条件下的感知缺陷。此外，数据集额外提供了16,142帧连续视频序列，为无监督深度估计等时序任务创造了条件。

使用方法

研究者可通过官方发布渠道获取数据集，其结构化设计支持多种计算机视觉任务的基准测试与模型开发。在语义分割任务中，可利用多模态数据进行跨模态融合训练或域适应研究，评估模型在红外等异质数据上的泛化能力。对于深度估计任务，数据集提供配对的双目RGB深度真值及红外图像，支持有监督、无监督及跨模态深度预测方法的验证。在目标检测方面，针对‘行人’类别的实例标注可用于评估小样本场景下的检测性能。实际使用时需注意各模态数据的对齐参数与标注映射关系，建议遵循原始划分方案保持评估一致性，并可结合Cityscapes等标准数据集进行跨域性能对比分析。

背景与挑战

背景概述

在自动驾驶视觉感知领域，多模态数据融合已成为提升系统鲁棒性的关键路径。InfraParis数据集由ENSTA Paris、IP Paris及Safran Group等机构的研究团队于2023年共同创建，旨在应对复杂环境下的感知挑战。该数据集聚焦于城市与郊区场景，通过同步采集RGB图像、深度图与红外图像，并辅以精细的语义标注，为多任务学习提供了丰富资源。其核心研究问题在于解决单一模态模型在夜间、低光照及恶劣天气条件下的感知局限，推动跨模态域自适应技术的发展。InfraParis的推出填补了现有自动驾驶数据集中红外模态与多任务标注的空白，为构建更安全、适应性更强的自动驾驶系统奠定了数据基础。

当前挑战

InfraParis数据集致力于解决自动驾驶在多变光照与复杂场景中的环境感知问题，其挑战主要体现在两方面：在领域问题层面，红外图像与RGB图像间的域差异显著，例如水体在红外光谱中呈现镜面反射特性，易导致误检；同时，红外图像对比度低、物体外观随时间剧烈变化，增加了语义分割与目标检测的难度。在构建过程中，数据采集面临传感器故障、图像配准伪影及异常光照干扰等技术障碍，导致部分原始数据不可用；此外，多模态数据的精确校准与标注需耗费大量人力，且需处理因巴黎奥运会筹备工程引入的动态场景复杂性，确保标注的一致性与准确性成为关键挑战。

常用场景

经典使用场景

在自动驾驶视觉感知领域，InfraParis数据集以其多模态特性成为评估模型在复杂环境下鲁棒性的经典基准。该数据集融合了RGB图像、深度图和红外图像，并提供了精细的语义分割与目标检测标注，使得研究者能够在统一的框架下测试模型在昼夜交替、恶劣天气及低光照条件下的表现。其采集自巴黎都市区的多样化场景，涵盖了从密集城区到郊野公路的广泛环境，为模型提供了接近真实世界的训练与验证平台。

解决学术问题

InfraParis数据集有效应对了自动驾驶研究中跨模态域适应与多任务学习的核心挑战。传统模型往往因依赖单一模态数据而难以处理红外图像与RGB图像间的显著差异，导致在夜间或能见度低下场景中性能骤降。该数据集通过提供对齐的多模态标注，促进了域适应算法的开发，使模型能够学习到更具泛化能力的特征表示。同时，其支持语义分割、目标检测与深度估计等多任务，为探索任务间协同学习与模型效率优化提供了宝贵资源。

衍生相关工作

基于InfraParis数据集，研究者已开展了一系列跨模态融合与域适应方向的经典工作。例如，利用其红外与RGB对齐数据开发了多任务神经网络架构，以同时优化语义分割与深度估计性能；也有研究专注于红外图像的特征增强算法，以改善低对比度环境下的目标识别精度。此外，该数据集常被用作基准，评估如SegFormer、DeepLab v3+等先进模型在多模态条件下的泛化能力，并推动了针对夜间驾驶场景的专用感知模型的创新。这些工作共同促进了自动驾驶视觉系统在复杂环境中的实用化进展。