PINNS

PINNS是由上海交通大学团队构建的一个专注于非结构化场景下行人-车辆交互的轨迹预测数据集。该数据集覆盖多个国家和地区，包含多样化的典型交通场景，并考虑了季节、光照条件和天气的变化，数据来源于未经校准的监控摄像头视频。数据集构建遵循中国自动化学会标准，通过提出的标注框架从原始视频中提取并注释轨迹数据与场景级信息。其核心应用领域是自动驾驶和轨迹预测研究，旨在为解决复杂混合交通场景中异构智能体（行人-车辆）的交互建模与安全预测提供关键数据支持。PINNS is a trajectory prediction dataset focusing on pedestrian-vehicle interaction in unstructured scenarios, constructed by a team from Shanghai Jiao Tong University. This dataset covers multiple countries and regions, includes diverse typical traffic scenarios, and considers variations in seasons, lighting conditions and weather. The data is sourced from uncalibrated surveillance camera videos. The dataset is developed in compliance with the standards of the Chinese Association of Automation, and trajectory data and scene-level information are extracted and annotated from raw videos through the proposed annotation framework. Its core application areas are autonomous driving and trajectory prediction research, aiming to provide critical data support for solving the interaction modeling and safety prediction of heterogeneous agents (pedestrian-vehicle) in complex mixed traffic scenarios.

搜集汇总

数据集介绍

构建方式

在自动驾驶安全研究中，行人与车辆交互的轨迹预测是核心挑战之一，然而现有数据集多聚焦于结构化道路场景，对非结构化环境中密集异构交互的覆盖严重不足。为填补这一空白，PINNS数据集应运而生。其构建基于未标定的监控摄像头视频数据，无需专业传感器或无人机，从而大幅降低了数据采集成本并提升了场景可扩展性。首先，从公开监控视频中选取覆盖多个国家和地区、包含路口、街道与停车场等非结构化区域的四种代表性场景。随后，利用卫星地图确定局部参考平面，通过选取图像与地图间的对应点计算单应矩阵，将图像坐标投影至鸟瞰图（BEV），恢复出近似的真实世界二维平面轨迹。接着，采用半自动化标注流程，利用深度学习检测与多目标跟踪算法生成初始边界框与轨迹，再逐帧进行人工校验与修正，并对静态对象予以剔除。最终，依据中国自动化学会团体标准，为每个对象标注类别、位置、尺寸与朝向等信息，同时提供场景级元数据（如季节、光照与天气），形成包含超过500个序列、22万余个轨迹点的数据集。

特点

PINNS数据集最显著的特点在于其对非结构化行-车交互场景的精准聚焦与丰富多样性。与现有数据集不同，PINNS专门针对半结构化与非结构化共享空间设计，捕获了大量密集、近距且动态复杂的行人与车辆交互行为，这在传统以结构化道路为主的数据集中极为稀缺。其场景覆盖美国、日本、意大利与泰国等多个国家的交叉口、街道和停车场，囊括晴天、雨天、雪天及昼夜等多样化环境条件，确保了地理、气候与时序上的广泛代表性。此外，数据集的构建未依赖昂贵或标定精密的专业设备，而是借助广泛部署的未标定监控摄像头，不仅降低了获取门槛，更支持长期持续的扩展。统计表明，不同场景下行人及车辆的速度分布、交互最小距离分布呈现显著差异，如路口场景存在明显的多模态速度特征与较远的安全间距，而街道场景则表现为连续的速度分布与高密度的近距离耦合，真实反映了因区域交通规则、社会规范及场景几何结构不同而产生的多样化行为模式。

使用方法

PINNS数据集专为行人与车辆混合场景下的轨迹预测研究设计，支持对其中的异构智能体进行联合建模。使用前，用户可根据任务需求选择输出坐标系：数据提供原始图像视图与经单应变换后的鸟瞰图（BEV）坐标，其中BEV轨迹保留了几何尺度与相对运动关系，便于直接用于物理可解释的预测模型。典型用法为给定历史观测轨迹（如3.2秒，8个时间步），预测未来轨迹（如4.8秒，12个时间步），评估指标可选取平均位移误差（ADE）与最终位移误差（FDE）。数据以结构化的注释文件呈现，包含每个对象的类别、跟踪ID、世界坐标序列、尺寸与朝向，同时提供场景级元数据（如地点、季节、天气与光照），以及对应的原始视频片段、鸟瞰图视频与单应校准文件。为便于基准测试，论文已采用Trajectron++等代表性方法进行实验，并建议采用三折交叉验证以获得稳健的性能评估。研究者可通过公开仓库获取完整数据，并依据自身模型需求进行灵活的下采样与输入输出配置。

背景与挑战

背景概述

PINNS（Pedestrian–Vehicle Interaction dataset from uNcalibrated cameras in uNstructured Scenes）数据集由上海交通大学宋安实验室的彭浩洋、胡倩、张松安和杨明等人于2021年提出，旨在填补非结构化场景中密集行人-车辆交互轨迹预测数据集的空白。现有数据集如ETH、UCY多聚焦于行人单一类型，而nuScenes、Waymo等虽涵盖交通场景，却以结构化道路和车辆行为为主，缺乏对复杂交互的充分表征。PINNS基于未标定监控摄像头视频，覆盖美国、日本、意大利、泰国等多个国家及地区，包含交叉口、街道、停车场等典型非结构化场景，并考虑季节、光照与天气的多样性。该数据集遵循中国自动化学会标准，提供轨迹数据与场景级信息，为异构智能体轨迹预测和自动驾驶安全研究提供了关键支撑，推动了复杂混合交通环境下的数据驱动方法发展。

当前挑战

该领域面临的核心挑战在于：非结构化环境中行人-车辆交互的异构性与高度不确定性显著超出结构化场景。行人的运动灵活、意图多变，而车辆受动力学约束，两者行为逻辑与决策机制的差异导致建模困难；现有算法多偏向规则化交互，在近距离、高密度耦合场景下性能显著下降。构建过程中，挑战同样严峻：未标定监控视频缺乏深度与相机参数，需通过单应性矩阵将图像坐标投影到鸟瞰世界坐标系，平均重投影误差达8.24像素（0.28米），对几何恢复精度要求苛刻；此外，需从超6000分钟原始视频中筛选含密集交互的有效片段，并平衡不同环境条件下的数据分布，以避免偏差并保障多样性。

常用场景

经典使用场景

PINNS数据集的经典使用场景聚焦于非结构化与半结构化道路环境中行人与车辆之间密集交互的轨迹预测。该数据集利用未标定监控摄像头拍摄的视频数据，涵盖全球多个国家和地区的交叉口、街道及停车场等共享空间。在此类场景中，行人与车辆的轨迹呈现出强烈的时空耦合与行为不确定性，PINNS为研究者提供了从真实世界采集的高频、长时间跨度的轨迹标注，广泛用于评估和训练异构智能体轨迹预测模型。

解决学术问题

PINNS数据集有效解决了现有公开轨迹预测数据集在非结构化场景中行人与车辆交互数据稀缺的核心问题。传统数据集如ETH、UCY偏重纯行人环境，而nuScenes、Waymo等则聚焦结构化道路，缺乏对密集异质交互的充分表征。PINNS填补了这一空白，使研究者能够系统地分析行人与车辆在低速、复杂共享空间中的博弈行为，推动了对异构智能体互动机理的深入理解，并揭示了现有模型在动态稠密场景下的泛化局限性。

衍生相关工作

PINNS数据集衍生了一系列具有影响力的经典工作。其中，基线方法Trajectron++被选为代表性异构多智能体轨迹预测模型，其基于LSTM和动态图结构的方法在PINNS上评估后显示出显著的性能下降，这激发了研究者开发针对非结构化场景的新型预测算法。此外，基于PINNS的标注框架，后续工作探索了利用单应性变换的未标定相机自校准方法，以及结合扩散模型与Transformer架构的轨迹生成技术，进一步推动了混合交通环境中行为建模的前沿研究。