I see you

I see you数据集是由圣安东尼奥阿巴德国立大学等机构创建，专注于车辆与行人交互的近事故场景数据。该数据集包含170个近事故事件，来源于秘鲁库斯科市的七个交叉路口的交通监控视频。数据集通过YOLOv5和相机校准方法获取轨迹数据，旨在为自动驾驶车辆提供复杂交互场景下的训练数据，以提高安全性。数据集创建过程中，使用了YOLOv5进行物体检测，StrongSORT进行跟踪，并采用线性卡尔曼滤波器去除轨迹噪声，最终将像素坐标转换为GPS坐标。该数据集适用于研究车辆与行人的交互行为，特别是在近事故场景中的行为预测和风险评估。The 'I See You' Dataset was developed by institutions including the National University of San Antonio Abad, focusing on near-crash scenario data for vehicle-pedestrian interaction. This dataset comprises 170 near-crash incidents collected from traffic surveillance videos at seven intersections in Cusco, Peru. Trajectory data is acquired via YOLOv5 and camera calibration techniques, with the objective of supplying training datasets for autonomous vehicles operating in complex interaction scenarios to improve traffic safety. During the dataset construction pipeline, YOLOv5 is utilized for object detection, StrongSORT for multi-object tracking, and a linear Kalman filter is applied to remove trajectory noise; pixel coordinates are finally converted to GPS coordinates. This dataset is suitable for research on vehicle-pedestrian interaction behaviors, particularly behavior prediction and risk assessment in near-crash scenarios.

搜集汇总

数据集介绍

构建方式

在自动驾驶技术迅猛发展的背景下，城市交通场景中车辆与行人的交互行为日益成为研究焦点。I see you数据集的构建依托于秘鲁库斯科七个信号灯交叉口的公共监控视频，通过精心设计的流程采集了近事故场景下的轨迹数据。研究团队采用YOLOv5模型进行目标检测，结合StrongSORT算法实现多目标跟踪，并利用线性卡尔曼滤波器对轨迹进行去噪处理。为确保数据质量，团队还通过半自动相机校准方法将像素坐标转换为GPS坐标，最终手动标注出170组车辆与行人的交互轨迹，涵盖了危险与非危险两种情境。

特点

该数据集的核心特点在于其专注于近事故场景下的车辆与行人交互，填补了拉丁美洲地区此类公开轨迹数据的空白。数据采集自学校、医院等人流密集区域，确保了行人特征的多样性，包括不同年龄与性别。此外，数据集涵盖了从清晨至深夜的全天候光照变化，增强了模型的鲁棒性。每条轨迹均提供速度分布信息，为预测模型提供了更通用的运动描述方式。与现有数据集相比，I see you不仅包含危险情境，还收录了近距离但非危险的交互案例，为模型训练提供了宝贵的负反馈样本。

使用方法

该数据集适用于自动驾驶系统中行人轨迹预测与风险评估模型的开发与验证。研究人员可通过GitHub公开获取数据集及处理代码，直接加载已标注的GPS轨迹数据进行模型训练。在应用时，建议优先利用速度特征而非绝对位置进行建模，以提升模型在不同坐标系下的泛化能力。数据集中包含的多样光照条件与场景类型，有助于测试模型在复杂环境中的性能。此外，近事故场景的轨迹数据可用于模拟突发行为，优化自动驾驶系统的应急决策算法。

背景与挑战

背景概述

在自动驾驶技术迅猛发展的背景下，城市交通场景中车辆与行人的交互行为成为关键研究焦点。2022年，由秘鲁库斯科国立大学等机构的研究人员联合创建的'I see you'数据集应运而生，旨在填补近事故场景中轨迹数据的空白。该数据集聚焦于信号灯交叉路口，通过交通监控摄像头捕捉了170例近事故交互行为，涵盖危险与非危险情境，为自动驾驶系统在复杂城市环境中的安全决策提供了重要数据支撑。其创新性在于首次公开了拉丁美洲地区的近事故轨迹数据，推动了行人轨迹预测与车辆交互建模领域的研究进展。

当前挑战

在自动驾驶领域，准确预测行人轨迹以规避近事故风险是核心挑战之一，现有数据集多集中于常规交互场景，难以覆盖行人突然加速或转向等不可预测行为。'I see you'数据集构建过程中面临多重挑战：首先，近事故数据天然稀缺且难以采集，需从海量监控视频中筛选罕见事件；其次，环境光照变化显著，从白天到夜晚的过渡要求目标检测模型具备强鲁棒性，研究团队通过精细调整YOLOv5模型以应对此问题；此外，轨迹标注依赖手动处理，效率较低，且数据转换需借助相机标定方法将像素坐标映射至GPS坐标，过程中易引入噪声，需通过卡尔曼滤波等技术进行优化。

常用场景

经典使用场景

在自动驾驶与智能交通系统研究中，车辆与行人交互的预测是核心挑战之一。I see you 数据集通过捕捉秘鲁库斯科七个信号化交叉路口的近事故场景，为这一领域提供了独特的数据支持。其经典使用场景聚焦于训练和评估行人轨迹预测模型，特别是在高风险情境下，如行人突然横穿马路或车辆紧急避让。数据集包含170个近事故事件的轨迹数据，覆盖了白天、黄昏和夜间多种光照条件，使得模型能够学习在复杂环境下的动态交互模式，从而提升自动驾驶系统在真实城市交通中的安全性和适应性。

实际应用

在实际应用中，I see you 数据集被广泛用于提升自动驾驶车辆和高级驾驶辅助系统的性能。例如，汽车制造商和科技公司可利用这些数据训练感知模块，以识别行人危险行为并提前预警。交通管理部门也能基于数据集分析交叉路口的安全隐患，优化信号灯时序或增设防护设施。此外，数据集支持模拟测试，帮助验证自动驾驶算法在极端场景下的鲁棒性，从而降低真实道路测试的风险，加速智能交通技术的商业化部署。

衍生相关工作

I see you 数据集衍生了一系列经典研究工作，主要集中在轨迹预测和风险建模领域。例如，研究者利用其数据开发了基于深度学习的行为预测模型，以处理行人突然加速或转向的情况。同时，该数据集启发了对近事故场景的聚类分析，用于自动识别交互模式。相关成果还包括改进的跟踪算法和相机校准方法，这些工作不仅扩展了数据集的实用性，还为智能交通系统中的多智能体交互研究提供了新范式，促进了学术与工业界的合作创新。