MMPD-Dataset|行人检测数据集|多模态学习数据集

MMPD数据集是在ECCV2024提出的，用于行人和多模态学习的通用模型和基准数据集。该数据集基于多个2D检测数据集构建，包括COCO、CrowdHuman、Object365等，并包含一个新的数据集EventPed。

原始信息汇总

MMPD-Dataset

数据集概述

MMPD数据集是在ECCV2024提出的，论文标题为“When Pedestrian Detection Meets Multi-Modal Learning: Generalist Model and Benchmark Dataset”。该数据集由以下作者共同提出：

• Yi Zhang
• Wang ZENG
• Sheng Jin
• Chen Qian
• Ping Luo
• Wentao Liu

数据准备

MMPD数据集基于多个2D检测数据集构建，包括：

• COCO
• CrowdHuman
• Object365
• LLVIP
• InOutDoor
• STCrowd
• PEDRo
• FLIR
• EventPed

使用MMPD数据集前，请先从原始数据集网站下载图像，然后重新组织数据并使用提供的标注文件进行训练和测试。标注文件可通过以下链接获取：

• Google Drive
• BaiDu Yun (Code: mmpd)

数据集结构应如下所示： text ── mmpedestron_datasets │── mmpedestron_datasets_ann │ │-- crowdhuman_coco/annotation_train_full2coco_231020.json │ |-- LLVIP/ann_coco/LLVIP_coco_train_change_cat_id.json │ |-- PEDRo_events_dataset/coco_ann/pedro_train.json │ │-- ... │── mmpedestron_images │-- COCO │-- CrowdHuman │-- Object365 │-- LLVIP │-- InOutDoor │-- STCrowd │-- ...

数据处理

数据处理脚本可从以下仓库获取：MMPedestron

STCrowd Lidar2RGB

shell cd MMPedestron python tools/datasets_converters/stcrowd_pointcloud2cam.py

PEDRo events dataset Event2RGB

shell cd MMPedestron python tools/datasets_converters/multi_process_evs_handler.py

使用条款

1. MMPD数据集仅用于研究和非商业用途。
2. MMPD数据集包含多个现有公开数据集，这些数据集的版权归原始所有者所有，我们不拥有这些图像的版权。
3. MMPD数据集还包含一个新提出的数据集（EventPed），该数据集可自由用于非商业用途，并可在这些条件下重新分发。EventPed数据集的图像和标注属于SenseTime Research。如需商业查询，请联系Sheng Jin (jinsheng13[at]foxmail[dot]com)。

引用

bibtex @inproceedings{zhang2024when, title={When Pedestrian Detection Meets Multi-Modal Learning: Generalist Model and Benchmark Dataset}, author={Zhang, Yi and Zeng, Wang and Jin, Sheng and Qian, Chen and Luo, Ping and Liu, Wentao}, booktitle={European Conference on Computer Vision (ECCV)}, year={2024}, month={September} }

AI搜集汇总

数据集介绍

构建方式

MMPD-Dataset的构建基于多个现有的2D检测数据集，包括COCO、CrowdHuman、Object365、LLVIP、InOutDoor、STCrowd、PEDRo和FLIR。这些数据集的图像首先从各自的官方网站下载，然后通过提供的注释文件进行重新组织。此外，MMPD还包含一个新提出的数据集EventPed，该数据集由SenseTime Research提供。通过整合这些多模态数据，MMPD旨在为多模态行人检测提供一个全面的基准。

特点

MMPD-Dataset的主要特点在于其多模态数据的整合，涵盖了从可见光图像到事件相机数据等多种数据类型。这种多模态的特性使得该数据集能够支持更广泛的研究和应用场景，特别是在复杂环境下的行人检测任务中。此外，MMPD还提供了详细的注释文件和数据处理脚本，便于研究人员进行数据预处理和模型训练。

使用方法

使用MMPD-Dataset时，用户需首先从各原始数据集的官方网站下载图像，然后根据提供的注释文件进行数据重组。数据集的结构应包括图像文件夹和注释文件夹，具体格式可参考README中的示例。数据处理脚本可从MMPedestron仓库获取，用于将不同数据源转换为统一的格式。用户需遵循数据集的使用条款，仅限于研究和非商业用途。

背景与挑战

背景概述

MMPD-Dataset，由Yi Zhang、Wang Zeng、Sheng Jin、Chen Qian、Ping Luo和Wentao Liu等研究人员在ECCV'2024会议上提出，旨在解决行人检测与多模态学习结合的核心研究问题。该数据集的构建基于多个现有的2D检测数据集，如COCO、CrowdHuman、Object365等，并引入了新的数据集EventPed。MMPD-Dataset的提出不仅丰富了多模态学习的数据资源，还为行人检测领域提供了一个新的基准，推动了该领域的技术进步。

当前挑战

MMPD-Dataset在构建过程中面临多重挑战。首先，整合多个来源不同的数据集需要解决数据格式和标注的一致性问题。其次，多模态数据的融合与处理，如从激光雷达数据转换为RGB图像，增加了数据处理的复杂性。此外，数据集的版权和使用限制，特别是涉及商业用途时，需要严格遵守各数据集的许可协议。这些挑战不仅影响了数据集的构建效率，也对后续的研究和应用提出了更高的技术要求。

常用场景

经典使用场景

MMPD-Dataset在行人检测领域展现出其经典应用场景，尤其是在多模态学习框架下。该数据集整合了多种公开数据集，如COCO、CrowdHuman和LLVIP等，通过融合不同模态的数据，如RGB图像、事件相机数据和激光雷达点云，显著提升了行人检测的准确性和鲁棒性。这种多模态融合的方法不仅适用于复杂的城市环境，还能有效应对光照变化和遮挡等挑战，为行人检测模型提供了更为全面和丰富的训练数据。

衍生相关工作

MMPD-Dataset的发布激发了大量相关研究工作，特别是在多模态学习和行人检测领域。许多研究者基于此数据集开发了新的算法和模型，如多模态行人检测网络和事件相机数据处理技术。此外，MMPD还促进了跨领域的研究合作，如计算机视觉与机器人学的结合，推动了自动驾驶和智能监控技术的发展。这些衍生工作不仅丰富了行人检测的研究内容，也为多模态学习提供了新的研究方向。

数据集最近研究

最新研究方向

在行人检测领域，MMPD-Dataset的最新研究方向聚焦于多模态学习的整合与优化。该数据集通过融合多种现有公开数据集，如COCO、CrowdHuman和LLVIP等，以及新提出的EventPed数据集，旨在构建一个全面且多样化的基准，以推动行人检测技术的发展。这种多模态数据的集成不仅提升了模型的泛化能力，还为研究者提供了丰富的数据资源，从而促进了在复杂环境下行人检测算法的创新与改进。此外，MMPD-Dataset的推出也标志着行人检测技术向更高效、更精准的方向迈进，为智能交通、公共安全等领域的应用提供了强有力的技术支持。