PINNS

PINNS是一个从无校准监控摄像头在非结构化交通场景中捕获的行人-车辆交互数据集，提供轨迹标注、原始和鸟瞰视图视频以及校准文件，用于轨迹预测和行为分析。PINNS is a pedestrian-vehicle interaction dataset captured from uncalibrated surveillance cameras in unstructured traffic scenarios, providing trajectory annotations, raw and bird's-eye view videos, and calibration files for trajectory prediction and behavior analysis.

原始信息汇总

数据集名称

PINNS: 未标定相机在非结构化场景下的行人-车辆交互数据集。

核心描述

PINNS 是一个从非结构化交通场景中的未标定监控摄像头捕获的行人-车辆交互数据集。它提供轨迹标注、原始视角与鸟瞰视角视频以及标定文件，用于轨迹预测和行为分析。

数据集构成

数据集被组织为以下结构：

• labels/：包含轨迹标签文件，文件名为 地点_场景_季节_时间_天气_索引.txt。
• videos/：包含原始视角和鸟瞰视角视频，以及标定文件。
  • 每个子文件夹 地点_场景_季节_时间_天气/ 下包含：
    • videos/
      • bev_索引.mp4：鸟瞰视角视频。
      • ori_索引.mp4：原始视角视频。
    • calib.json：标定文件。

命名规则

每个序列名称包含场景级别信息，格式为：地点_场景_季节_时间_天气_索引。

字段	描述
location	数据采集地点
scene	场景类型（如交叉口、街道、校园等）
season	季节
time	白天/夜晚
weather	晴天/雨天/雪天
index	序列索引

标注格式

每个标签文件为文本文件，以空格分隔值。每行表示一帧中的一个对象，格式为： frame type id ox oy conf w h world_x world_y fixed r

字段说明

字段	描述
frame	帧索引
type	对象类型（Person / Car）
id	对象跟踪ID
ox	对象中心x坐标
oy	对象中心y坐标
conf	检测置信度
w	边界框宽度
h	边界框高度
world_x	世界坐标X（米）
world_y	世界坐标Y（米）
fixed	静态标志
r	对象朝向（弧度）

• 对于 Person 对象：ox、oy、w、h、r 定义在 原始图像视角。
• 对于 Car 对象：ox、oy、w、h、r 定义在 鸟瞰视角（BEV）。
• world_x、world_y 是通过单应性变换获得的世界坐标。

标定文件

每个场景文件夹包含一个标定文件 calib.json，用于计算图像坐标、BEV坐标和世界坐标之间的单应性变换。

标定参数说明

参数	描述
location	数据采集地点
scene	场景类型
season	季节
time	白天/夜晚
weather	天气条件
fps	视频帧率
pts_3d	世界坐标参考点
pts_2d	图像坐标参考点
x_min, x_max	世界坐标X范围
y_min, y_max	世界坐标Y范围
u_size	图像宽度
v_size	图像高度
bev_width	BEV图像宽度
bev_height	BEV图像高度
u_axis	BEV x轴方向
v_axis	BEV y轴方向

下载

数据集可通过 Google Drive 下载：https://drive.google.com/file/d/1Pa-9WoWIM7wNOhEnWaq1_MUs37hqE8Q0/view?usp=sharing

相关论文

本数据集在以下论文中介绍： 《A Pedestrian–Vehicle Interaction Benchmark and Annotation Framework for Unstructured Scenes via Uncalibrated Cameras》 论文链接：https://arxiv.org/abs/2605.25947

搜集汇总

数据集介绍

构建方式

在非结构化交通场景下，行人与车辆之间的交互行为复杂多变，传统依赖标定摄像机的数据集难以覆盖此类环境。PINNS数据集由此应运而生，专门从非标定监控摄像机中采集原始视角与鸟瞰视角视频，覆盖交叉口、街道、校园等多类型场景，并包含不同季节、光照及天气条件。数据集由标注人员对每一帧中的行人和车辆进行轨迹标注，提供包括边界框、世界坐标、朝向角及静态标志在内的详细信息，同时通过单应性变换将图像坐标与世界坐标关联，生成校准文件以实现坐标系的统一转换。

特点

该数据集的核心特色在于其对非结构化场景与未标定摄像机的适配性，突破了传统数据集对固定校准设备的依赖。每个序列的命名规则蕴含丰富的场景元信息，如地点、场景类型、季节、时间与天气，便于研究者按需筛选。标注格式中，行人与车辆分别采用原始视角与鸟瞰视角的坐标定义方式，体现了对不同目标运动特性的精细考量。此外，校准文件提供了完整的坐标变换参数，包括图像、鸟瞰图与世界坐标系间的映射关系，为轨迹预测与行为分析提供了坚实的几何基础。

使用方法

研究者可通过Google Drive下载完整数据集。使用时应解压后遵循目录结构访问标注文件、视频与校准信息。每组场景的标签文件为纯文本格式，每行记录一个对象在单帧中的状态，便于解析。通过加载校准文件中的单应性矩阵，可将图像坐标转换为世界坐标或鸟瞰图坐标。数据集支持基于地点、场景、天气等条件的文件筛选，适合用于多模态轨迹预测、交互行为分析及非标定场景下的鲁棒性评估任务。

背景与挑战

背景概述

在非结构化交通场景中，行人与车辆之间的交互行为复杂多变，而现有数据集多聚焦于标定相机下的结构化道路，难以覆盖诸如无标定监控视角、混合交通流等真实场景。为填补这一空白，Haoyang Peng、Qian Hu、Songan Zhang 与 Ming Yang 等人于2026年构建了PINNS数据集，该数据集源自未标定监控摄像头，涵盖了十字路口、街道、校园等多种非结构化场景，并包含昼夜、晴雨雪等多样化环境条件。其核心研究问题在于提供高精度的交互轨迹与鸟瞰视角注释，以支撑轨迹预测与行为分析。PINNS的发布为自动驾驶、智能交通系统及行人安全研究提供了稀缺的数据资源，尤其在无约束场景下的交互建模领域具有重要影响力。

当前挑战

PINNS所解决的领域问题在于非结构化场景中行人-车辆交互的复杂性和不可预测性。传统方法依赖标定相机与规则化道路，难以应对无标定视角下的尺度变化、遮挡及动态光照干扰。构建过程中亦面临显著挑战：一是未标定相机的坐标映射精度有限，需通过单应性变换从二维图像反演三维世界坐标，易受透视畸变影响；二是各场景标注的一致性难以保证，如行人采用原始视图而车辆采用鸟瞰视图，增加特征对齐难度；三是标注框架需适应不同天气与时段下的视觉降质，如雨雪模糊或夜间低照度，对目标检测与跟踪的鲁棒性要求极高。

常用场景

经典使用场景

在智能交通与自动驾驶研究领域，精准的行人-车辆交互轨迹预测是保障非结构化场景下交通安全的核心挑战。PINNS数据集专为此类研究设计，其经典使用场景聚焦于从非标定监控摄像头中提取行人与车辆的多模态轨迹数据，并利用提供的标定文件实现原始视角至鸟瞰视角与世界坐标系的精确转换。研究者常借助该数据集的轨迹标注与BEV视频，构建并验证行人与车辆交互行为的时空预测模型，尤其适用于城市交叉口、校园道路等缺乏交通标线的复杂环境，为理解人车互动动态提供关键基准。

实际应用

PINNS数据集的实际应用场景紧密围绕城市交通安全与智能监控系统展开。基于其多源轨迹数据与BEV表示，可开发实时行人警示系统与车辆决策辅助模块，在无信号灯路口或人车混行区域提前预警潜在冲突。此外，该数据集支持构建面向智慧城市的车联网安全服务，通过联合解析行人意图与车辆运动，优化通行效率。在自动驾驶领域，其非结构化场景数据有助于训练感知算法适应不受控环境，提升从校园到商业区的全场景适配能力，推动高级驾驶辅助系统向更通用化、低依赖性的方向发展。

衍生相关工作

自PINNS数据集发布以来，已衍生出多个具有影响力的经典工作。一方面，部分研究基于其非标定相机设置提出了鲁棒的单应性估计与自监督坐标对齐方法，推动了无相机标定条件下的轨迹重建技术。另一方面，该数据集催生了将行人姿态与全局轨迹融合的社交力场预测模型，以及利用多视角BEV特征进行交互关系推理的图神经网络框架。此外，若干工作以PINNS为基准，探讨了域适应与场景迁移学习在非结构化人车互动中的应用，显著拓展了原始数据集的科研边界。