FCAV M-Air Pedestrian (FMP) Dataset

该数据集包含单目RGB图像和平面激光雷达数据，用于行人检测。数据集由高清摄像头和Hokuyo UTM-30LX-EW平面激光雷达收集，安装在ROS支持的Segway移动机器人平台上，于2019年1月在美国密歇根大学安娜堡分校的M-Air设施户外环境中收集。数据集包含四个短视频，总录制时间约4分钟，使用3,934帧高质量地面实况数据。每帧中最多有两名行人在场景中行走，有时相互交互和遮挡。

This dataset comprises monocular RGB images and planar LiDAR data, intended for pedestrian detection. The data was collected using a high-definition camera and a Hokuyo UTM-30LX-EW planar LiDAR, mounted on a ROS-supported Segway mobile robot platform. The collection took place in January 2019 at the M-Air facility, an outdoor environment at the University of Michigan, Ann Arbor. The dataset includes four short video clips, totaling approximately 4 minutes of recording time, with 3,934 frames of high-quality ground truth data. Each frame features up to two pedestrians walking in the scene, occasionally interacting and occluding each other.

原始信息汇总

FCAV M-Air Pedestrian (FMP) Dataset 概述

数据集描述

• 名称: FCAV M-Air Pedestrian (FMP) Dataset
• 内容: 包含单目RGB图像和平面激光雷达数据，用于行人检测。此外，还包含视频数据。
• 数据收集: 使用安装在ROS-enabled Segway移动机器人平台上的高清摄像头和Hokuyo UTM-30LX-EW平面激光雷达收集。
• 收集环境: 在密歇根大学安娜堡分校的“M-Air”户外设施中收集。
• 收集时间: 2019年1月
• 地面实况数据: 使用Qualisys运动捕捉系统记录行人的肩部关键点。

数据集详情

• 视频数据: 包含四个短视频，总录制时间约4分钟。
• 图像帧数: 使用3,934帧高质量地面实况数据。
• 场景描述: 每帧中最多有两名行人，有时会相互交互和遮挡。

数据集结构

• 组织格式: 遵循KITTI数据集的结构。
• 训练、验证和测试集:
  • 测试集: 最后一个视频片段（810帧）。
  • 训练和验证集: 剩余三个序列的帧（3,124帧），按3:1的比例随机洗牌。

使用示例

• 示例文件: 提供四个txt文件，包含样本序列号，用于训练、验证和测试。

相关项目

• Pedestrian Planar LiDAR Pose (PPLP) Network: 用于基于平面激光雷达和单目图像的定向行人检测。

数据集下载

• 下载链接: 点击此处下载完整数据集

搜集汇总

数据集介绍

构建方式

FCAV M-Air Pedestrian (FMP) 数据集构建于2019年1月，采集自美国密歇根大学安娜堡校区的M-Air设施。该数据集通过搭载在ROS驱动的Segway移动机器人平台上的高清摄像头和Hokuyo UTM-30LX-EW平面激光雷达（LiDAR）进行数据采集。Qualisys运动捕捉系统用于记录行人的肩部关键点，作为地面真实数据。数据集包含四段短视频，总时长约4分钟，共使用了3,934帧具有高质量地面真实数据的图像。每帧图像中最多有两名行人行走，并可能发生相互遮挡。

特点

FMP数据集的特点在于其结合了单目RGB图像和平面激光雷达数据，适用于行人检测任务。数据集中的视频片段展示了行人在M-Air设施内的行走情况，并包含了激光雷达信号的投影和图像中行人的地面真实边界框。数据集的文件夹结构和格式遵循KITTI数据集的标准，提供了用于训练、验证和测试的示例序列号文件。测试集由最后一个视频片段（810帧）组成，其余三个序列的帧（3,124帧）按3:1的比例随机划分为训练集和验证集。

使用方法

FMP数据集的使用方法较为直观，用户可以通过提供的链接下载完整数据集。数据集的文件夹结构按照KITTI标准组织，包含校准数据、RGB图像、标签文件、平面数据和平面激光雷达点云数据。用户可以根据提供的示例序列号文件进行训练、验证和测试。此外，数据集还附带了一个展示行人行走情况的视频，帮助用户更好地理解数据内容。该数据集已被用于行人平面激光雷达姿态（PPLP）网络的研究，以基于平面激光雷达和单目图像进行定向行人检测。

背景与挑战

背景概述

FCAV M-Air Pedestrian (FMP) Dataset 是由密歇根大学的研究团队于2019年1月创建的，旨在为行人检测领域提供多模态数据支持。该数据集通过搭载在Segway移动机器人平台上的高清摄像头和Hokuyo UTM-30LX-EW平面激光雷达（LiDAR）采集，结合Qualisys运动捕捉系统记录的行人肩部关键点作为地面真值数据。数据集包含单目RGB图像和平面LiDAR数据，主要应用于行人检测与姿态估计研究。其数据采集环境为密歇根大学Ann Arbor校区的M-Air设施，提供了丰富的户外场景数据。FMP数据集以其多模态数据融合的特点，为行人检测算法的开发与评估提供了重要资源。

当前挑战

FMP数据集在行人检测领域面临的主要挑战包括多模态数据的对齐与融合问题。由于RGB图像与LiDAR数据在空间分辨率和信息表达上的差异，如何有效整合两种数据以提升检测精度成为关键难题。此外，数据集中行人之间的遮挡与交互场景增加了检测难度，尤其是在复杂环境下对行人姿态的精确估计。在数据集构建过程中，研究人员还需克服户外环境下的光照变化、传感器噪声以及数据同步等技术挑战。这些因素共同构成了FMP数据集在实际应用中的主要障碍，同时也为相关算法的优化提供了研究空间。

常用场景

经典使用场景

FCAV M-Air Pedestrian (FMP) Dataset 主要用于行人检测领域的研究，特别是在结合单目RGB图像和平面LiDAR数据的多模态感知系统中。该数据集通过提供高质量的图像和LiDAR点云数据，支持开发者在复杂环境中进行行人检测算法的训练与验证。其经典使用场景包括自动驾驶系统中的行人识别与跟踪，以及机器人导航中的动态障碍物检测。

实际应用

在实际应用中，FMP数据集为自动驾驶和智能机器人领域提供了重要的数据支持。例如，自动驾驶车辆可以利用该数据集训练的行人检测模型，实时识别道路上的行人并做出安全决策。此外，智能机器人可以在复杂环境中利用该数据集开发的算法，实现动态障碍物的精准检测与避障，从而提高导航效率与安全性。

衍生相关工作

FMP数据集催生了一系列经典研究工作，其中最著名的是Pedestrian Planar LiDAR Pose (PPLP) Network。该网络利用平面LiDAR和单目图像数据，实现了面向行人的定向检测，显著提升了检测精度。此外，该数据集还被广泛应用于多模态感知算法的开发与优化，推动了行人检测技术的进一步发展。