LYNRED Mobility Dataset: Multimodal Detection Subset (LYNRED-MDS)

LYNRED-MDS是由法国格勒诺布尔阿尔卑斯大学与林瑞德公司联合创建的大规模多模态驾驶场景数据集，专注于提升热红外成像在复杂环境下的行人检测性能。该数据集包含4000组严格对齐的RGB-红外图像对，覆盖法国格勒诺布尔地区全年度3.7°C至30°C温度区间，涵盖城市、山区、乡村等多样化驾驶场景，并标注9类道路使用者及遮挡状态。数据通过车顶双立体相机系统采集，采用触发同步机制确保模态对齐，特别关注极端天气与低能见度边缘案例。本数据集旨在推动高级驾驶辅助系统在热成像模态上的泛化能力研究，为解决夜间、雾天等恶劣条件下的行人检测难题提供关键基准。LYNRED-MDS is a large-scale multimodal driving scene dataset jointly developed by Grenoble Alpes University (France) and Lynred Company, focused on enhancing the pedestrian detection performance of thermal infrared imaging in complex environments. It contains 4,000 strictly aligned RGB-thermal image pairs, spanning the full-year temperature range of 3.7°C to 30°C in the Grenoble region of France, and covers diverse driving scenarios such as urban, mountainous, and rural areas. The dataset is annotated with 9 categories of road users and their corresponding occlusion states. Data collection is conducted via a roof-mounted dual stereo camera system, utilizing a trigger synchronization mechanism to ensure strict modal alignment, with particular emphasis on extreme weather and low-visibility edge cases. This dataset is designed to advance research on the generalization capability of Advanced Driver Assistance Systems (ADAS) leveraging thermal imaging modalities, serving as a critical benchmark for addressing the challenges of pedestrian detection under harsh conditions including nighttime and foggy environments.

搜集汇总

数据集介绍

构建方式

在智能驾驶与弱势道路使用者安全备受关注的背景下，LYNRED-MDS数据集应运而生。该数据集源自LYNRED Mobility Dataset，专门聚焦多模态目标检测任务，包含4000对可见光与红外图像，采集于法国格勒诺布尔周边多种驾驶场景。数据采集依托车顶安装的双传感器系统，分别采用LYNRED PICO640Gen2与ATTO640D-02红外传感器，搭配Sony IMX273 RGB相机，以30帧/秒速率同步捕获，并每隔3秒抽取一帧以确保多样性。训练集与测试集按序列划分，兼顾昼夜与季节分布的均衡性。所有图像均经过去标识化处理，并提供了16位原始红外图像与8位处理版本，为不同研究需求提供数据基础。

使用方法

研究人员可通过LYNRED官方网站申请获取该数据集。数据集遵循标准COCO JSON标注格式，分为ir-train、ir-test、vis-train、vis-test等JSON文件，便于直接接入主流目标检测框架。红外图像以PNG格式提供，可见光图像为JPG格式，均包含对齐与非对齐版本。用户可根据研究目标灵活选择模态：既可单独使用红外或可见光数据进行单模态检测，也可利用双模态图像探索多光谱融合策略。数据集中额外提供的16位原始红外图像，支持无色调映射的端到端检测，为降低AEB系统计算能耗提供研究空间。建议使用YOLOv5、YOLOv8或Faster R-CNN等经典模型进行基准测试，并重点关注行人检测及小目标性能指标。

背景与挑战

背景概述

LYNRED Mobility Dataset: Multimodal Detection Subset (LYNRED-MDS)是由法国INRIA、Lynred公司及格勒诺布尔大学联合团队于2026年发布的多模态红外-可见光图像数据集，核心研究问题聚焦于低能见度驾驶场景下弱势道路使用者的检测。该数据集包含4000对RGB-红外图像，采集于法国格勒诺布尔周边涵盖城市、乡村及山区的真实驾驶环境，覆盖从冬季滑雪场至夏季城区的极端温差条件。其独特价值在于填补了现有KAIST、FLIR ADAS等数据集多集中于晴朗天气的不足，为先进驾驶辅助系统在法规要求（如欧洲通用安全条例）下的行人检测提供更具挑战性的基准。该数据集因其对边缘场景的系统性覆盖，被预期对智能交通安全领域产生重要推动力。

当前挑战

该数据集面临的核心领域挑战源于：1）热红外传感器在环境温度接近人体体温时（如夏季高温30°C）导致目标与背景热对比度急剧下降，使行人检测误报率攀升；2）满足美国NHTSA规范中100km/h时速下50米制动距离的极小目标检测要求，部分行人像素高度低至10像素，远低于常规检测算法对小目标的定义阈值。构建过程中挑战重重：多传感器系统需解决RGB与红外摄像头视场角差异导致的几何对齐问题；全年采集需协调严苛的野外环境，在3.7°C至30°C的宽温域下确保16位红外原始数据的辐射标定一致性；专业标注公司生成的初始标注存在4像素超小目标不一致性，迫使研究团队重新筛选并统一10像素高度阈值，同时通过模糊算法处理车牌和人脸以满足法国CNIL隐私法规，标注流程复杂度远超常规实验室级数据集。

常用场景

经典使用场景

LYNRED-MDS数据集最经典的使用场景在于支持多模态（RGB与红外）目标检测算法的训练与评估，尤其聚焦于自动驾驶环境中的行人检测。该数据集包含4000对在法国格勒诺布尔周边采集的RGB-红外图像，覆盖城市、乡村、山地等多种驾驶场景，以及从冬季雪地到夏季晴天的丰富季节与光照条件。研究者可借助该数据集验证模型在真实复杂路况下的泛化能力，例如利用YOLOv8n等基线模型进行跨数据集评估，从而推动面向高级驾驶辅助系统的感知算法迈向更高鲁棒性。

解决学术问题

该数据集有效弥补了现有RGB-红外数据集（如FLIR ADAS、LLVIP）在极端天气和复杂环境下的不足，解决了学术界在低可见度条件下行人检测泛化能力薄弱的痛点。通过提供涵盖3.7°C至30°C环境温度、夜间、雨雪等边缘场景的多模态图像，LYNRED-MDS使得研究者能够探索温度接近人体时红外对比度衰减对检测性能的影响，并评估模型在满足欧美监管标准（如50米行人检测距离）时的实际表现。这不仅推动了小目标检测、域自适应等理论问题的深化，也为红外感知在自动驾驶安全评估中的可信性奠定了数据基础。

实际应用

在实际应用中，LYNRED-MDS数据集直接服务于高级驾驶辅助系统中自动紧急制动系统的开发与验证。通过模拟真实驾驶中可能遭遇的低温、夜间、多雾等挑战性条件，该数据集帮助工程团队优化红外与可见光传感器融合策略，提升对行人、骑行者等弱势道路使用者的识别可靠性。此外，其提供的16位原始红外图像允许研究人员探索无色调映射的轻量化检测流水线，降低嵌入式系统的计算负载，从而加速符合欧美安全法规的AEB系统在量产车中的部署。

数据集最近研究

最新研究方向

在当前全球智能交通系统安全法规日趋严苛的背景下，尤其是欧盟及美国对弱势道路使用者（VRU）保护标准的提升，LYNRED-MDS数据集聚焦于复杂环境下的红外-可见光多模态行人检测前沿方向。该数据集突破传统数据集如KAIST和FLIR ADAS在晴朗天气下的理想场景局限，涵盖雨雪、浓雾、夜间及冬季低温至夏季高温（3.7°C至30°C）等极端温度工况，并包含阿尔卑斯山区、城市及乡村等多变驾驶环境。研究通过跨数据集泛化实验表明，该数据集有效增强了行人检测模型在自动紧急制动（AEB）等实际部署中的鲁棒性和泛化能力，直接响应了NHTSA关于100km/h下50米距离内行人检测的法规要求，对提升自动驾驶安全系统的场景覆盖率和可靠性具有重要推动作用。

相关研究论文

• Descriptor: LYNRED Mobility Dataset Multimodal Detection Subset (LYNRED-MDS)

  法国国家信息与自动化研究所·格勒诺布尔阿尔卑斯大学中心; 林瑞德公司; 格勒诺布尔阿尔卑斯大学·CNRS·GIPSA实验室 · 2026年