PeSOTIF

PeSOTIF数据集是由清华大学汽车安全与能源国家重点实验室创建，专注于自动驾驶系统在长尾交通场景中的感知安全问题。该数据集包含1126帧数据，涵盖多种极端天气和光照条件，以及复杂的交通参与者行为。数据集的创建过程涉及从多个来源收集关键帧，并手动标注关键对象。PeSOTIF数据集主要用于评估和改进自动驾驶系统在不确定环境下的感知性能，旨在解决感知系统在复杂场景下的安全性和可靠性问题。

The PeSOTIF dataset was created by the State Key Laboratory of Automotive Safety and Energy, Tsinghua University, focusing on the perception safety issues of autonomous driving systems in long-tail traffic scenarios. This dataset contains 1,126 frames of data, covering various extreme weather and lighting conditions, as well as complex behaviors of traffic participants. The creation process of the dataset involves collecting key frames from multiple sources and manually annotating key objects. The PeSOTIF dataset is mainly used to evaluate and improve the perception performance of autonomous driving systems in uncertain environments, aiming to solve the safety and reliability issues of perception systems in complex scenarios.

搜集汇总

数据集介绍

构建方式

在自动驾驶感知系统面临长尾场景安全挑战的背景下，PeSOTIF数据集通过系统分析感知SOTIF问题的触发条件构建而成。数据采集融合了多源异构策略：一部分源自针对雨强与光照强度等环境因素的受控实验，使用高动态范围彩色摄像机捕捉关键帧；另一部分从交通事故视频库及公开数据平台筛选，提取包含异常天气、照明干扰及物体外观姿态变异等长尾场景的关键帧。此外，数据集还从现有开源数据集的测试子集中遴选符合触发条件定义的室外场景图像。所有1126帧数据均经过人工标注，涵盖11类交通参与者，并以YOLO与COCO双格式提供，同时为可能引发感知风险的关键对象标注了难度标识符。

使用方法

该数据集主要服务于概率性对象检测算法在长尾场景下的性能验证与SOTIF风险评估研究。使用者可基于标注的关键对象信息，训练或测试算法在环境干扰与物体异常条件下的检测鲁棒性。数据集配套提出的评估协议建议通过量化感知SOTIF熵值，构建基于不确定性的预警机制；具体通过计算多标签检测的香农熵，结合漏检与虚警惩罚因子，输出风险熵值以触发下游模块预警。研究者可依据协议中的警报覆盖率、误报率等指标，系统性验证算法在不确定性估计与风险量化方面的有效性，推动感知系统安全边界的界定与提升。

背景与挑战

背景概述

随着深度学习技术在自动驾驶感知系统中的广泛应用，其固有的黑盒特性与不确定性引发了功能安全领域的深度关切，特别是预期功能安全（SOTIF）问题。在此背景下，清华大学车辆与运载学院的研究团队于近年创建了PeSOTIF数据集，旨在系统性地填补长尾交通场景下感知SOTIF研究的数据空白。该数据集聚焦于由环境因素（如雨雪、异常光照）与物体特性（如非常规外观、临时障碍物）触发的感知性能边界问题，通过从多源数据中精心提取关键帧，构建了涵盖多样触发条件的高质量视觉数据集合。其核心研究问题在于评估与提升概率性目标检测算法在复杂、罕见场景下的不确定性量化能力与安全预警效能，为自动驾驶系统的可靠性与安全性研究提供了至关重要的基准平台。

当前挑战

PeSOTIF数据集所应对的核心领域挑战，在于解决自动驾驶感知系统在长尾交通场景下面临的SOTIF问题，即如何有效检测与量化因算法性能局限或动态环境触发而导致的感知不确定性及安全风险。具体而言，其构建过程面临多重挑战：首先，长尾场景在自然数据中分布稀疏且极具多样性，需从海量事故视频、现有数据集及可控实验中系统性地筛选、标注关键帧，数据采集与标注成本高昂；其次，为支撑概率性目标检测研究，需在标注中引入人类驾驶员的主观难度评估因子，以标识可能引发感知失效的关键物体，这种标注标准的定义与一致性维护颇具复杂性；此外，数据集的持续扩展需不断更新与完善触发条件枚举，以覆盖更广泛的自然与人为合成场景，这对数据工程的系统性与前瞻性提出了较高要求。

常用场景

经典使用场景

在自动驾驶感知系统的研究中，PeSOTIF数据集被广泛应用于评估概率目标检测算法在长尾交通场景下的性能。该数据集系统地涵盖了由环境因素和物体特性触发的感知SOTIF问题，例如雨雪天气、异常光照以及罕见物体姿态等。研究者利用其标注的关键对象和不确定性评估协议，能够深入分析算法在复杂场景中的感知边界与安全风险，从而推动感知子系统在极端条件下的鲁棒性提升。

解决学术问题

PeSOTIF数据集主要解决了自动驾驶领域感知算法在长尾场景中性能不足与安全风险评估的学术难题。通过系统整合环境与物体相关的触发条件，该数据集为研究感知不确定性、算法性能边界以及SOTIF熵量化提供了基准。其标注的关键对象和评估指标帮助学者验证概率目标检测算法在识别未知或不安全场景时的有效性，弥补了现有开源数据集中长尾场景缺失的空白，促进了感知安全性的理论探索与实证分析。

实际应用

在实际应用中，PeSOTIF数据集被用于测试和优化自动驾驶车辆的感知模块，特别是在恶劣天气或罕见交通事件下的表现。汽车制造商和研究机构可借助该数据集验证感知算法在真实长尾场景中的可靠性，并通过不确定性估计实现风险预警。例如，在系统部署前，利用PeSOTIF进行熵值量化测试，能够提前识别感知失败风险，从而增强车辆在动态环境中的安全决策能力，降低因感知局限引发的交通事故概率。

数据集最近研究

最新研究方向

在自动驾驶感知安全领域，PeSOTIF数据集正推动着针对长尾场景下感知算法性能边界的研究。该数据集聚焦于环境与物体相关的触发条件，如雨雪天气、异常光照及罕见障碍物，系统性地构建了可能引发功能安全问题的关键场景。前沿研究围绕概率性目标检测（POD）算法的不确定性估计展开，通过量化感知SOTIF熵来评估算法在动态环境中的风险识别能力。相关热点事件，如自动驾驶系统在复杂天气下的失效案例，进一步凸显了此类数据集的现实意义。PeSOTIF不仅为算法提供了严格的测试基准，还促进了不确定性向规划模块的传播机制研究，从而提升整体系统的安全性与鲁棒性。

相关研究论文

• PeSOTIF: a Challenging Visual Dataset for Perception SOTIF Problems in Long-tail Traffic Scenarios

  清华大学汽车安全与能源国家重点实验室 · 2022年