PhysicalAI-AV-Counterfactual

PhysicalAI-AV-Counterfactual 是一个专为自动驾驶（AV）安全研究设计的评估数据集，旨在评测视觉语言模型（VLM）能否正确识别和推理在最近2秒内新出现的驾驶危险，并推荐适当的驾驶响应。每个数据样本包含一个真实的前向行车记录仪帧，以及一个通过生成式AI编辑后的反事实帧（在标注的掩码区域内插入了合理的驾驶危险），同时还包含了从源记录中提取的自车过去2秒和未来6秒的运动轨迹。数据集包含87个驾驶场景和55个独特的驾驶目标，危险类型多样，涵盖道路碎片（如纸箱、床垫）、弱势道路使用者（如骑行者、行人）、动物、车辆（如越线车辆、闯红灯车辆）和环境因素（如树枝、积水）等，这些危险被设计在驾驶员最早可察觉的瞬间出现，距离约15-40米，且可能部分被遮挡或与背景对比度较低。数据集结构清晰，每个场景以其SceneID组织，包含时间戳对应的三个文件：原始帧（.png）、反事实帧（-nano-banana.png）和包含场景元数据与自车轨迹窗口的序列化文件（.pkl）。顶层文件manifest.jsonl为每个场景提供了详细的描述信息，包括危险描述、驾驶目标、掩码边界框等。该数据集主要用于评估VLM的危险检测和反事实场景理解能力，以及作为轨迹预测模型ADE/FDE性能的基准，适用于自动驾驶感知和规划领域的安全关键边缘案例研究。数据集遵循CC BY-NC 4.0许可证，允许非商业研究使用并需注明出处。PhysicalAI-AV-Counterfactual is an evaluation dataset designed for autonomous vehicle (AV) safety research. Its core objective is to assess whether vision-language models (VLMs) can correctly identify and reason about newly emerging driving hazards within the last 2 seconds and recommend appropriate driving responses. Each data sample includes a real forward-facing dashcam frame, a counterfactual frame edited by generative AI (inserting plausible driving hazards within annotated mask regions), and the ego vehicles motion trajectory extracted from the source recording, covering the past 2 seconds and future 6 seconds. The dataset comprises 87 driving scenes and 55 unique driving goals. Hazard types are diverse, covering road debris (e.g., cardboard boxes, mattresses), vulnerable road users (e.g., cyclists, pedestrians), animals, vehicles (e.g., crossing vehicles, red-light runners), and environmental factors (e.g., tree branches, water accumulation). These hazards are designed to appear at the earliest moment detectable by the driver, at distances of approximately 15-40 meters, and may be partially occluded or have low contrast with the background. The dataset structure is clear: each scene is organized by its SceneID and includes three timestamped files: the original frame (.png), the counterfactual frame (-nano-banana.png), and a serialized file (.pkl) containing scene metadata and the ego vehicles trajectory window. The top-level file manifest.jsonl provides detailed description information for each scene, including hazard descriptions, driving goals, mask bounding boxes, etc. This dataset is primarily used to evaluate VLM capabilities in hazard detection and counterfactual scene understanding, as well as to serve as a benchmark for trajectory prediction model ADE/FDE performance, suitable for safety-critical edge case studies in autonomous driving perception and planning. The dataset follows the CC BY-NC 4.0 license, allowing non-commercial research use with attribution required.

原始信息汇总

数据集概述

PhysicalAI-AV-Counterfactual 是一个专为自动驾驶（AV）安全研究设计的评估数据集。该数据集通过将真实行车记录仪图像与生成式AI编辑的反事实图像配对，并附上自车的过去和未来轨迹，旨在测试视觉语言模型（VLM）能否正确识别新出现的危险并给出合理的驾驶响应。

• 许可证: CC BY-NC 4.0（非商业研究用途，需署名）
• 任务: 图像到文本、视觉问答
• 语言: 英语
• 标签: 自动驾驶、反事实、安全、危险检测、行车记录仪、自车运动
• 规模: 少于 1000 个样本

数据集统计

指标	数值
场景数	87
独特驾驶目标	55
每个场景文件数	3（原始图像、标注图像、pickle 文件）
摄像头	camera_front_wide_120fov
自车运动历史窗口	2 秒
自车运动未来窗口	6 秒

数据集结构

每个场景存储在其 SceneID 目录下，按时间戳分组。每个时间戳包含三个文件：

<SceneID>/ <timestamp>.png <timestamp>.pkl <timestamp>-nano-banana.png

文件说明

文件	描述
<timestamp>.png	最接近请求时间戳的前向摄像头帧。
<timestamp>.pkl	包含场景元数据和自车运动轨迹窗口的 pickle 文件。
<timestamp>-nano-banana.png	反事实图像：由生成模型编辑并插入危险的摄像头帧。

顶层文件

文件	描述
manifest.jsonl	每行一个 JSON 对象，描述危险、驾驶目标、掩码边界框和文件路径。
manifest_viewer.html	自包含的浏览器查看器，用于并排浏览场景。
view_manifest.py	CLI 辅助工具，用于打印或过滤清单条目。
manifest_editor.py	数据集构建期间使用的审查和编辑批准工具。

清单模式

manifest.jsonl 中每行 JSON 结构如下：

json { "scene_id": "字符串 — 场景的 UUID", "timestamp": "字符串 — 时间戳键，与文件根名匹配", "camera_name": "字符串 — 例如 camera_front_wide_120fov", "original_path": "字符串 — 原始 .png 的相对路径", "edited_path": "字符串 — 反事实 .png 的相对路径", "pkl_path": "字符串 — .pkl 的相对路径", "hazard": "字符串 — 插入危险的简短自然语言描述", "objective": "字符串 — 自车执行的驾驶操作", "mask_box": [x0, y0, x1, y1], // 插入区域的像素边界框 "prompt": "字符串 — 用于生成编辑的完整生成模型提示", "status": "字符串 — ok 表示编辑被接受，否则为错误标签", "error": "字符串 | null" }

Pickle 文件模式

每个 .pkl 文件反序列化为一个 Python dict，包含以下字段：

python { "scene_id": str, # 场景 UUID "chunk_name": str, # 数据块标识符 "timestamp_us": int, # 请求的时间戳（相对于第一帧，微秒） "t_frame_us": int, # 最近匹配帧的实际时间戳（微秒） "past_s": float, # 自车运动历史窗口时长（秒，默认 2.0） "future_s": float, # 自车运动未来窗口时长（秒，默认 6.0） "camera_name": str, # 摄像头标识符 "past": List[dict], # 从 (t_frame_us - past_s) 到 t_frame_us 的样本列表 "future": List[dict], # 从 t_frame_us 到 (t_frame_us + future_s) 的样本列表 }

自车运动样本模式

字段	类型	描述
timestamp	int	绝对时间戳（微秒）
x	float	世界坐标系 x 坐标（米）
y	float	世界坐标系 y 坐标（米）
z	float	世界坐标系 z 坐标（米）
qx	float	四元数 x 分量
qy	float	四元数 y 分量
qz	float	四元数 z 分量
qw	float	四元数 w 分量

轨迹坐标采用世界固定坐标系，以记录位置为原点。历史窗口提供车辆最近的运动，未来窗口提供车辆实际跟随的真实轨迹，可用于 ADE/FDE 评估。

危险分类

危险涵盖多种难度和类别，包括：

• 道路碎片：掉落的纸箱、床垫、车辆碎片
• 弱势道路使用者：骑行者、行人、电动滑板车骑手、儿童
• 动物：狗、鸟群
• 车辆：跨越中心线的对向车辆、闯红灯的车辆、紧急车辆
• 环境：掉落的树枝、积水路段

所有危险设计为在距离 15–40 米、部分遮挡或与背景对比度低的情况下，于有经验的驾驶员首次注意到的时刻出现。

预期用途

• 评估 VLM 在危险检测和反事实场景理解方面的能力
• ADE/FDE 基准测试，使用自车运动真实未来轨迹进行轨迹预测模型评估
• 安全关键边缘情况研究，用于自动驾驶感知和规划

该数据集不适用于训练生成模型合成危险。

搜集汇总

数据集介绍

构建方式

PhysicalAI-AV-Counterfactual数据集专为自动驾驶安全性研究而构建。其核心构建思路在于，从真实的前置行车记录仪影像中选取关键帧，利用生成式人工智能模型在原始画面中嵌入具有现实合理性的驾驶风险要素，从而生成对应的反事实样本。每一组样本不仅包含原始帧与编辑后的反事实帧，还同步提取了自车在此场景下的历史与未来轨迹，这些轨迹数据以Python Pickle格式封装，并附带详尽的元数据描述。这一设计使得数据集的每一场景都涵盖了从感知输入到行为参考的完整信息链条。

特点

该数据集的显著特点在于其精心设计的风险场景层次与细粒度标注。风险类别涵盖道路碎片、弱势道路使用者、动物闯入、违规车辆及环境突变等多种类型，且所有风险均在驾驶员通常能察觉的最早时刻出现，距离范围为15至40米，并伴有部分遮挡或低对比度背景，以模拟真实世界中危险的隐蔽性。每个场景均配有自然语言描述的风险说明、驾驶目标、生成模型的完整提示词以及风险区域的精确像素边界框，这些丰富的语义与空间信息为视觉语言模型的评估提供了多维度支撑。

使用方法

研究者可通过解析`manifest.jsonl`文件遍历所有场景，获取场景标识、风险描述、驾驶目标及文件路径等关键信息。加载图像时可直接利用PIL库读取原始帧与反事实帧的PNG文件，而轨迹数据则通过Python Pickle模块反序列化获取。数据集中`past`与`future`字段分别提供了自车在风险发生前后的运动轨迹，可用于计算平均位移误差和最终位移误差，从而评估轨迹预测模型的性能。此外，该数据集专为评估而非训练设计，不应用于生成式模型的训练过程。

背景与挑战

背景概述

PhysicalAI-AV-Counterfactual数据集由PhysicalAI研究团队于近年创建，专注于自动驾驶车辆安全性评估这一前沿领域。该数据集围绕一个核心研究问题展开：如何有效评测视觉-语言模型在复杂驾驶场景中识别由生成式AI插入的潜在危险并做出合理响应。通过将真实行车记录仪视频帧与经过编辑的反事实图像配对，并附带自车在过去2秒与未来6秒的运动轨迹信息，该数据集为自动驾驶感知与决策系统提供了一个小规模但高度针对性的评测基准。其影响力在于填补了现有数据集对生成式反事实推理与安全关键边缘场景系统性评估的空白，推动了多模态AI在自动驾驶安全性验证中的应用。

当前挑战

该数据集所针对的领域挑战主要在于自动驾驶系统对突发、罕见危险场景的感知与推理能力不足，例如道路碎片、弱势道路使用者、动物闯入或车辆违规行驶等，这些场景在传统数据集中往往难以覆盖。此外，数据集的构建过程也面临显著困难：需要通过生成式模型在保留场景真实性的前提下，以15-40米的距离、部分遮挡或低对比度方式插入自然合理的危险元素；同时需精确对齐原始帧、编辑后帧与自车运动轨迹数据，确保每个样本的时空一致性。这些挑战限制了数据集的规模（仅含87个场景），但也凸显了其在安全评测中的独特价值。

常用场景

经典使用场景

PhysicalAI-AV-Counterfactual数据集专为自动驾驶安全研究而设计，其核心用途是评估视觉语言模型在反事实场景中的推理能力。每个样本包含一对真实的前置行车记录仪图像与经过生成式AI编辑的反事实图像，后者插入了合理的驾驶危险元素，如道路碎片、弱势道路使用者或动物。研究者通过对比原始与编辑图像，测试模型能否识别新出现的危险、理解其语义含义，并基于自车轨迹提出安全的驾驶响应，从而为自动驾驶感知系统提供一套严谨的评估基准。

解决学术问题

该数据集精准解决了自动驾驶领域中反事实推理与危险检测评估的学术难题。传统数据集多关注常规场景，而PhysicalAI-AV-Counterfactual聚焦于安全关键的长尾事件，如部分遮挡或低对比度下突然出现的障碍物。它促使模型超越简单的目标检测，发展出对潜在危险的情景理解能力，这一进步对提升自动驾驶系统的鲁棒性至关重要。其意义在于推动了从静态感知向动态、因果推理的范式转变，为安全验证提供了可复现的实验平台。

衍生相关工作

围绕PhysicalAI-AV-Counterfactual数据集，已衍生出多项开创性研究工作。例如，基于该数据集的视觉语言模型评估促进了因果感知算法的开发，其中研究者利用反事实对比学习提升模型对危险源的定位准确性。此外，轨迹预测领域涌现出新方法，通过结合自车历史与未来轨迹，模型能更精准地模拟紧急避让行为。该数据集还催生了交互式场景生成框架，用于合成更多样化的安全边缘案例，进一步扩展了自动驾驶测试的覆盖范围。