融合和标注的人体姿态数据集

本研究通过融合和标注MOT17和NCLT两个数据集，创建了一个大规模的人体姿态数据集，专门用于捕捉在共享城市区域中人与机器人交互的场景。该数据集包含数千个真实世界的室内外场景，通过YOLOv7网络进行处理，生成了人体姿态的视觉和数值输出，并通过手动标注提供地面实况。数据集的应用领域包括人体姿态预测和社交感知机器人路径规划，旨在解决自主配送机器人在城市环境中安全导航的问题。This study develops a large-scale human pose dataset by fusing and annotating two datasets, MOT17 and NCLT, which is specifically tailored for capturing human-robot interaction scenarios in shared urban areas. This dataset encompasses thousands of real-world indoor and outdoor scenes. It is processed using the YOLOv7 network to generate visual and numerical outputs of human poses, and provides ground truth via manual annotation. The application fields of this dataset include human pose prediction and socially-aware robot path planning, aiming to address the safe navigation problem of autonomous delivery robots in urban environments.

搜集汇总

数据集介绍

构建方式

该数据集通过融合并重新标注两个公开数据集——MOT17与NCLT——构建而成。MOT17原本聚焦于多目标行人追踪，NCLT则服务于同步定位与地图构建，二者均捕捉了共享城市空间中行人或机器人的视角。研究团队从中筛选出12个包含人-机器人交互场景的子序列，涵盖室内外、不同光照及拥挤程度的环境。利用YOLOv7网络对每一帧图像进行人体姿态估计，生成17个关键关节点的坐标与置信度，并输出可视化结果。为获得真实基准，专家依据统一标注协议对部分子序列进行了手工标注，最终形成了包含4525帧标注数据的融合姿态数据集。

特点

该数据集的核心特点在于其聚焦于人-机器人交互场景，弥补了现有姿态估计数据集在此领域的空白。数据源自真实世界，覆盖了从明亮户外到昏暗室内、从单人场景到高度拥挤环境的多样化条件，同时包含了不同光照、遮挡、反射及部分裁剪等挑战性因素。数据集不仅提供视觉化的姿态标签，还包含数值化的关节坐标与边界框信息，便于定量分析。此外，研究团队针对传统MPJPE指标的距离偏差问题，创新性地提出了均值缩放关节误差（MSJE），通过引入边界框尺寸缩放误差，使得评估结果更贴近实际空间感知，为后续研究提供了更可靠的评价基准。

使用方法

该数据集适用于多种下游任务，如人体姿态预测、行人行为分析及社交感知机器人路径规划。使用时，研究者可直接加载RGB图像及其对应的姿态标注，用于训练或评估姿态估计模型。数据集的数值输出包括图像编号、行人ID、边界框中心坐标与尺寸，以及17个关节点的x、y坐标与置信度，方便进行定量比较。建议在评估模型时同时使用MPJPE与MSJE指标，以全面衡量估计精度，尤其需注意MSJE能有效消除距离带来的偏差。此外，数据集还可作为迁移学习或联合训练的素材，结合其他姿态数据集以提升模型在复杂城市环境中的泛化能力。

背景与挑战

背景概述

在共享城市空间中，自主配送机器人与行人安全交互的需求日益迫切，人体姿态估计作为理解行人意图、实现社会感知路径规划的关键技术，却因缺乏标注人机交互场景的丰富数据集而进展受限。2024年，多伦多都市大学交通创新实验室的Elahe Sherafat与Bilal Farooq针对这一空白，通过重新利用和融合MOT17与NCLT两个公开数据集，构建了首个大规模融合与标注的人体姿态数据集。该数据集涵盖数千个真实室内外人机交互场景，利用YOLOv7生成姿态标签并辅以人工标注，旨在推动行人行为分析、姿态预测及机器人社会感知导航的研究。这一工作为理解行人在机器人存在下的动态反应提供了基础资源，对提升自主配送系统在复杂城市环境中的安全性与社会适应性具有重要影响。

当前挑战

该数据集面临的核心挑战涵盖两大层面。在领域问题层面，人体姿态估计本身具有高复杂性，需从图像中精确推断17个关键关节坐标，较之轨迹预测面临更大的特征空间；同时，现有姿态数据集均缺乏人机交互元素，难以支撑机器人对行人意图、社会互动（如群体交谈）的推理。在构建过程中，挑战尤为突出：原始数据集（MOT17与NCLT）并非为姿态估计设计，需人工标注大量帧以生成真值；场景多样性带来遮挡、部分可见、光照不足、行人镜像反射及服装影响等标注难题；此外，传统MPJPE误差指标存在距离偏差，近距离与远距离行人的相同像素误差含义迥异，需设计新指标MSJE以更公平评估模型性能。

常用场景

经典使用场景

该数据集通过融合MOT17与NCLT两个公开数据集，重构并标注了数千帧真实场景中行人于共享城市空间内与自动配送机器人交互的人体姿态。其经典使用场景涵盖室内外不同光照条件、拥挤程度与几何结构下的行人-机器人共存环境，为研究者提供了一个兼具视觉与数值标注的丰富资源，用以训练和评估人体姿态估计算法在动态人机交互情境下的鲁棒性。

解决学术问题

该数据集填补了现有公开数据集中缺乏人机交互情境下人体姿态标注的关键空白，解决了因数据匮乏而阻碍行人意图推断、社会感知路径规划等下游任务深入研究的学术难题。通过引入结合边界框尺寸的新型评估指标MSJE，有效缓解了传统MPJPE指标中因距离差异导致的评估偏差，为更精准地衡量模型在不同距离下的姿态估计性能提供了方法论支撑。

衍生相关工作

该数据集衍生了多项开创性工作，包括基于YOLOv7的人体姿态估计性能评估及跨场景误差分析，推动了行人-机器人交互行为建模的进展。此外，研究团队计划通过实地实验与虚拟沉浸式环境（VIRE）进一步采集更丰富的数据，为后续的人体姿态预测、行人行为分析及社会感知路径规划算法提供基准，并探索YOLOv8等最新模型在相关任务中的优化潜力。