TD4PWMR

TD4PWMR数据集是由德国明斯特大学数学与计算机科学学院的研究团队创建的，旨在捕捉多样化的行人场景，特别关注在不同环境条件下使用移动辅助设备或承受移动负担的个体。该数据集包含11196张手动标注的热成像图像，涵盖了不同的光照、天气和拥挤的城市环境。该数据集的创建旨在克服热成像的固有挑战，如缺乏色彩和细纹理细节，以及热图像的分辨率通常较低。TD4PWMR Dataset was created by a research team from the Faculty of Mathematics and Computer Science at the University of Münster, Germany. This dataset is developed to capture diverse pedestrian scenarios, with a particular focus on individuals using mobility assistive devices or bearing mobility-related burdens under various environmental conditions. It contains 11,196 manually annotated thermal imaging images, covering different lighting conditions, weather scenarios, and crowded urban environments. The creation of this dataset aims to address the inherent challenges of thermal imaging, such as the lack of color and fine texture details, as well as the typically lower resolution of thermal images.

原始信息汇总

YOLO-THERMAL 数据集概述

数据集基本信息

• 名称: YOLO-THERMAL
• 类型: 热成像数据集
• 适用场景: 针对行动受限人群的热成像检测

数据集内容

• 数据来源: TD4PWMR (Thermal Dataset for People with Mobility Restrictions)
• 下载链接:
  • Google Drive
  • BaiduYun Drive (提取码: 3650)

模型权重

• 预训练模型: yolo-thermal.pt
• 下载链接:
  • Google Drive
  • BaiduYun Drive (提取码: 3650)

环境配置

• 操作系统: Rocky Linux
• Python版本: 3.10
• PyTorch版本: 2.1.1
• GPU: NVIDIA 2080

安装步骤

1. 创建conda环境: bash conda create -n yolo_thermal python=3.10.13 conda activate yolo_thermal

2. 安装PyTorch及相关包: bash pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118 pip install -r requirements.txt

训练与测试

• 训练脚本: bash python yolo-thermal_train.py

• 评估脚本: bash python yolo-thermal_evaluate.py

引用信息

bibtex @misc{ni2025thermaldetectionpeoplemobility, title={Thermal Detection of People with Mobility Restrictions for Barrier Reduction at Traffic Lights Controlled Intersections}, author={Xiao Ni and Carsten Kuehnel and Xiaoyi Jiang}, year={2025}, eprint={2505.08568}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2505.08568}, }

搜集汇总

数据集介绍

构建方式

在智能交通系统领域，无障碍交叉口的建设对提升行动不便者的出行安全至关重要。TD4PWMR数据集的构建采用了FLIR ThermiBot2红外相机，在四季不同时段（日出、早晨、午后、日落、夜间和黎明）采集了交叉口人行道、等候区和过街区域的热成像数据。通过安装在交通信号灯杆上的八台相机，以640×512像素分辨率捕获了11,196张图像，并采用固态硬盘和CAT7电缆确保数据高速传输。标注策略将行动不便者与其辅助设备视为单一实体进行边界框标注，涵盖12个预定义类别，包括轮椅使用者、盲杖使用者等典型场景。

特点

该数据集显著区别于传统RGB数据集，其热成像特性确保了在低光照和恶劣天气条件下的稳定性能，同时有效保护行人隐私。数据覆盖了四季变化和全天候时段，包含3,086张春季图像、2,584张夏季图像等季节性平衡样本。特别值得注意的是，数据集存在明显的类别不平衡现象，普通行人样本占比显著高于使用辅助设备的特殊群体，这为检测模型的训练带来了独特挑战。热成像的固有特性如缺乏色彩纹理、分辨率较低等特点，也使得该数据集成为测试算法在复杂热力学场景下性能的理想基准。

使用方法

TD4PWMR数据集采用80%-20%比例划分为训练集和测试集，支持基于深度学习的行人检测算法开发。研究者可利用该数据集训练如YOLO-Thermal等专用模型，通过集成三重注意力机制和SPD-Conv模块来提升热成像下的检测精度。实际部署时，检测结果可触发智能交通灯的三种自适应策略：为行走障碍者延长6秒绿灯时间，为视觉障碍者延长8秒并激活声音提示，为携带大件物品者延长3秒。数据集的多帧验证机制（建议N=2）能有效平衡检测准确性与交通效率，相关代码和数据集已在GitHub开源供学术研究使用。

背景与挑战

背景概述

TD4PWMR（Thermal Detection of People with Mobility Restrictions）数据集由Xiao Ni、Carsten Kühnel和Xiaoyi Jiang等研究人员于2025年提出，旨在解决智能交通系统中针对行动受限人群的检测问题。该数据集专注于通过热成像技术捕捉多样化的行人场景，特别是在不同光照、天气和拥挤城市环境下的行动受限个体。TD4PWMR的创建填补了现有数据集的空白，为开发无障碍交叉路口系统提供了重要的数据支持。其核心研究问题是提升交通信号灯系统的自适应能力，以确保行动受限人群的安全和舒适。该数据集的发布推动了计算机视觉和智能交通系统领域的相关研究，特别是在热成像检测和隐私保护方面具有显著影响力。

当前挑战

TD4PWMR数据集面临的挑战主要包括两方面：领域问题的挑战和构建过程中的挑战。在领域问题方面，热成像技术虽然具有隐私保护和恶劣天气鲁棒性等优势，但其缺乏颜色和精细纹理细节，且分辨率较低，这增加了目标检测的难度。此外，热成像中具有相似热特征的对象难以区分，进一步加大了检测的复杂性。在构建过程中，数据集需要捕捉多样化的行人场景，特别是在不同环境条件下的行动受限个体，这对数据采集和标注提出了较高要求。数据集中还存在类别不平衡问题，行动受限人群的出现频率远低于普通行人，这可能导致模型在训练过程中对少数类别的学习不足，影响检测性能。

常用场景

经典使用场景

TD4PWMR数据集在智能交通系统中被广泛应用于行人检测，特别是在交通信号灯控制的交叉路口。该数据集通过热成像技术捕捉不同环境条件下的行人行为，特别关注行动不便者的检测。其经典使用场景包括动态调整交通信号灯的时长，以确保行动不便者有足够的时间安全通过路口。

解决学术问题

TD4PWMR数据集解决了传统RGB摄像头在恶劣天气或低能见度条件下检测性能不足的问题，同时避免了隐私泄露的风险。该数据集通过热成像技术，提供了更稳定的行人检测性能，特别是在夜间或恶劣天气条件下。此外，该数据集还填补了现有数据集中行动不便者数据不足的空白，为相关研究提供了宝贵资源。

衍生相关工作

基于TD4PWMR数据集，研究人员开发了YOLO-Thermal模型，该模型通过集成先进的特征提取和注意力机制，显著提升了热成像中的目标检测精度和鲁棒性。此外，该数据集还推动了多个相关研究，包括热成像技术在智能交通系统中的其他应用，如车辆检测和行人跟踪等。