PePScenes

PePScenes是由华为加拿大诺亚方舟实验室创建的一个针对自动驾驶系统中行人行为预测的新数据集。该数据集通过对流行的自动驾驶数据集nuScenes进行增强，添加了每帧的2D/3D边界框和行为标注，特别适用于预测行人过街行为。数据集包含719个独特的行人轨迹，并提供了丰富的行为标签，有助于提高轨迹预测和运动规划的准确性。PePScenes的创建旨在解决自动驾驶领域中行人行为预测的挑战，通过提供详细的环境和行为信息，支持多种自动驾驶相关的任务，如跟踪、检测和轨迹预测。

PePScenes is a novel dataset for pedestrian behavior prediction in autonomous driving systems, developed by Huawei Canada Noah's Ark Lab. This dataset is enhanced based on the popular autonomous driving dataset nuScenes, with additional 2D/3D bounding boxes and behavioral annotations per frame, and is specifically tailored for pedestrian crossing behavior prediction. It includes 719 unique pedestrian trajectories and provides rich behavioral labels, which can contribute to improving the accuracy of trajectory prediction and motion planning. The creation of PePScenes aims to tackle the challenges in pedestrian behavior prediction within the autonomous driving domain, and supports various autonomous driving-related tasks such as tracking, detection and trajectory prediction by offering detailed environmental and behavioral information.

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，对行人行为进行精准预测是保障安全规划的核心挑战。PePScenes数据集以广泛应用的nuScenes数据集为基础，通过系统性的标注扩展构建而成。其构建过程首先筛选出位于自车前侧、具有潜在过街意图且连续可见的行人轨迹，共对719条独特行人轨迹添加行为标签。针对原始标注频率较低的问题，研究团队将行人及所有物体的包围框标注频率提升至10赫兹，并利用三维坐标插值与基于RetinaNet的二维检测结果进行对齐优化，最终通过人工抽样确保了标注的空间一致性与质量。

使用方法

PePScenes适用于训练与评估行人行为预测模型，尤其侧重于过街动作的时序分类。使用时可按照70:30比例划分训练与测试集，保持正负样本平衡，并依据过街事件起点裁剪序列，观察窗口通常设为0.5秒。数据输入可灵活组合多模态特征：鸟瞰语义地图与场景图像经卷积网络提取视觉表征，行人轨迹与自车状态则通过长短时记忆网络编码，最终融合为共享表示以进行动作预测。该设计支持端到端训练，并可通过消融实验分析各模态贡献，为自动驾驶系统中的行为理解与决策规划提供可靠基准。

背景与挑战

背景概述

在自动驾驶领域，准确预测行人行为是确保安全运动规划的核心挑战之一。PePScenes数据集由华为加拿大诺亚方舟实验室的研究团队于2020年推出，旨在通过增强流行的nuScenes数据集，为行人动作预测提供更丰富的多模态数据支持。该数据集的核心研究问题聚焦于预测行人的高层动作，特别是横穿马路的行为，以弥补传统轨迹预测方法的不足。通过融合鸟瞰语义地图、三维物体位置等信息，PePScenes不仅推动了行人行为预测算法的发展，还为自动驾驶系统的环境感知与决策模块提供了关键数据基础，显著提升了相关研究的实用性与前瞻性。

当前挑战

PePScenes数据集致力于解决自动驾驶中行人动作预测的复杂问题，其核心挑战在于如何有效整合多源异构数据，如视觉场景、语义地图、轨迹动态与车辆状态，以准确预知行人的横穿意图。在构建过程中，研究团队面临数据标注的精细度与一致性难题，需在稀疏的原始标注基础上，通过插值与检测算法实现高频率的边界框标注，并确保行为标签的时序连贯性。此外，数据不平衡与多模态融合的算法设计亦构成重要挑战，要求模型既能捕捉时空特征，又能灵活处理不同维度的输入信息。

常用场景

经典使用场景

在自动驾驶领域，预测行人行为是确保安全规划的核心挑战。PePScenes数据集通过融合nuScenes的丰富多模态数据，为行人动作预测提供了经典应用场景。该数据集整合了鸟瞰语义地图、三维物体位置及密集轨迹信息，使得研究者能够基于真实驾驶环境中的时空上下文，构建模型以预测行人是否横穿道路。这种场景不仅模拟了复杂城市交通中的动态交互，还强调了视觉与运动数据的协同分析，为算法验证提供了高度逼真的基准平台。

解决学术问题

PePScenes数据集解决了行人行为预测中多模态信息缺失的学术难题。传统数据集往往局限于二维轨迹或单一视觉输入，缺乏三维环境语义与物体空间关系，难以支撑自动驾驶系统的全面需求。该数据集通过提供密集的三维边界框标注、行为标签及鸟瞰地图，使研究者能够探索高阶动作（如横穿决策）与轨迹预测的关联性。其意义在于推动了行为预测从单纯轨迹外推转向语义理解，为多模态融合模型的发展奠定了数据基础，提升了预测任务的准确性与可解释性。

实际应用

PePScenes数据集的实际应用主要体现在自动驾驶系统的安全增强与决策优化中。通过预测行人横穿意图，车辆可提前调整速度或路径，避免潜在碰撞。该数据集的三维语义信息使算法能理解道路结构（如人行道、路口）与行人位置的交互，从而在真实驾驶场景中实现更可靠的预判。此外，其密集标注支持了跟踪、检测与轨迹预测等下游任务，为车载感知系统的端到端开发提供了数据支撑，加速了自动驾驶技术在城市环境中的落地进程。

数据集最近研究

最新研究方向

在自动驾驶领域，行人行为预测正从传统的轨迹预测转向更高层次的行动意图推断，以提升系统的安全性与规划效率。PePScenes数据集作为新兴的研究资源，通过融合nuScenes的3D环境语义地图、物体空间坐标及密集行为标注，为多模态预测模型提供了关键支持。当前前沿研究聚焦于利用混合神经网络架构，整合视觉场景、鸟瞰图语义信息、行人轨迹与自车状态等多源数据，以精准预判行人横穿动作。这一方向不仅推动了行为预测与轨迹生成的协同优化，更在仿真测试、端到端规划等热点应用中展现出深远影响，为自动驾驶系统的可靠决策奠定了数据与算法基础。

相关研究论文

• PePScenes: A Novel Dataset and Baseline for Pedestrian Action Prediction in 3D

  华为加拿大诺亚方舟实验室 · 2020年