Crash-VQA

Crash-VQA是一个用于结构化事故后车辆理解的多图像视觉问答基准数据集。数据来源于美国国家公路交通安全管理局（NHTSA）的碰撞调查抽样系统（CISS），包含真实世界碰撞事故的详细信息和图像。该数据集旨在支持多图像视觉问答研究、事故后车辆损坏理解、结构化碰撞分析基准测试，以及跨图像和车辆元数据输入的多模态模型评估。数据集核心内容围绕5个具体的视觉问答任务展开：plane_atomic（主要撞击平面，标签：front, rear, left, right）、clock_atomic（钟面撞击方向，标签：1-12）、extent_atomic（损坏程度，标签：minor, moderate, severe）、deltav_atomic（速度变化量区间，标签：0-10, 10-20, 20-30, 30+）和ais2_atomic（AIS 2+伤害指标，标签：true, false）。每个任务样本对应一个归一化的标签。每个数据样本（一行）代表一个任务标注，并包含丰富的多模态信息：最多9个标准视角的车辆图像（前、后、左、右、前右、前左、后右、后左、顶部），部分视图可能为空；结构化的车辆元数据，包括车辆类型、车型年份和整备质量（公斤）；以及稳定的公共标识符（case_id, vehicle_id, sample_id）。数据集提供两种配置以适应不同研究需求：natural配置保持了观测到的原始数据分布，包含训练集（36,632行）、验证集（4,902行）和测试集（7,337行）；balanced配置则旨在支持受控的任务/标签比较，包含训练集（13,202行）和测试集（2,414行）。整个数据集总计包含64,487个问答行，97,323张独特图像，涉及9,913个独特案例和12,734辆独特车辆。使用该数据集时需注意其局限性：数据可能反映源数据收集过程中的采样、报告、地理、车辆类型、碰撞严重程度、图像质量和元数据缺失等偏差。损坏外观在不同视角下可能具有模糊性，且标签将复杂的碰撞现象简化为离散的基准目标。数据集不应用于医疗、法律、保险或事故责任判定等场景。Crash-VQA is a multi-image Visual Question Answering benchmark dataset for structured post-crash vehicle understanding. The data is sourced from the National Highway Traffic Safety Administration (NHTSA) Crash Investigation Sampling System (CISS), containing detailed information and images from real-world crash incidents. The dataset aims to support multi-image VQA research, post-crash vehicle damage understanding, structured crash analysis benchmarking, and multimodal model evaluation across image and vehicle metadata inputs. The core content revolves around five specific VQA tasks: `plane_atomic` (primary impact plane, labels: front, rear, left, right), `clock_atomic` (clock-face impact direction, labels: 1-12), `extent_atomic` (damage extent, labels: minor, moderate, severe), `deltav_atomic` (delta-V interval, labels: 0-10, 10-20, 20-30, 30+), and `ais2_atomic` (AIS 2+ injury indicator, labels: true, false). Each task sample corresponds to a normalized label. Each data sample (one row) represents a task annotation and includes rich multimodal information: up to nine standard-view vehicle images (front, rear, left, right, front-right, front-left, rear-right, rear-left, top), with some views potentially empty; structured vehicle metadata, including vehicle type, model year, and curb weight (kg); and stable public identifiers (case_id, vehicle_id, sample_id). The dataset provides two configurations to accommodate different research needs: the `natural` configuration maintains the observed raw data distribution, containing a training set (36,632 rows), validation set (4,902 rows), and test set (7,337 rows); the `balanced` configuration aims to support controlled task/label comparison, containing a training set (13,202 rows) and test set (2,414 rows). Overall, the dataset totals 64,487 question-answer rows, 97,323 unique images, involving 9,913 unique cases and 12,734 unique vehicles. When using this dataset, note its limitations: data may reflect biases from source data collection processes, such as sampling, reporting, geographic, vehicle type, crash severity, image quality, and metadata gaps. Damage appearance can be ambiguous across views, and labels simplify complex crash phenomena into discrete benchmark targets. The dataset should not be used for medical, legal, insurance, or crash liability determination purposes.

原始信息汇总

数据集概述

Crash-VQA 是一个多图像基准数据集，用于结构化的碰撞后车辆理解。每个样本包含一个任务标注、标准化标签、结构化车辆元数据及同一车辆最多九个标准视角的图像。

规模统计

指标	数值
问答行数	64,487
唯一图像数	97,323
唯一图像包数	13,782
唯一案例数	9,913
唯一车辆数	12,734
任务数	5
标准图像视角数	9

任务定义

任务	预测目标	允许标签	行数
plane_atomic	主要撞击平面	front, rear, left, right	15,316
clock_atomic	表盘方向上的撞击方向	1 到 12	15,650
extent_atomic	损坏程度	minor, moderate, severe	15,506
deltav_atomic	Delta-V 区间	0-10, 10-20, 20-30, 30+	11,897
ais2_atomic	AIS 2+ 伤害指示	true, false	6,118

配置与划分

配置	划分	行数
natural	train	36,632
natural	validation	4,902
natural	test	7,337
balanced	train	13,202
balanced	test	2,414

• natural 为默认配置，包含训练、验证和测试划分，保留原始数据分布。
• balanced 包含训练和测试划分，用于任务/标签的受控比较。

数据列结构

每行对应一个任务标注，主要列包括：

列名	类型	描述
case_id	string	稳定的公开案例标识符
split	string	训练、验证或测试
task	string	五个任务名称之一
label	string	标准化任务标签
metadata	struct	包含车辆类型、车型年份、整备质量
image_front	Image() 或 null	前方视图
image_rear	Image() 或 null	后方视图
image_right	Image() 或 null	右侧视图
image_left	Image() 或 null	左侧视图
image_front_right	Image() 或 null	前右视图
image_front_left	Image() 或 null	前左视图
image_rear_right	Image() 或 null	后右视图
image_rear_left	Image() 或 null	后左视图
image_top	Image() 或 null	顶部视图
vehicle_id	string	稳定的公开车辆标识符
sample_id	string	稳定的问答行标识符

车辆元数据

字段	类型	含义
vehicle_type	string 或 null	源车辆车身/类型描述
model_year	int64 或 null	车辆模型年份
curb_wt_kg	float64 或 null	整备质量（千克）

空值表示源数据中未提供该信息。

数据来源

图像和车辆/碰撞元数据源自 美国国家公路交通安全管理局 (NHTSA) 碰撞调查采样系统 (CISS)。Crash-VQA 新增了公开的任务定义、标准化标签、划分定义、标识符、封装和文档。

预期用途

• 多图像视觉问答研究；
• 碰撞后车辆损坏理解；
• 结构化碰撞分析基准测试；
• 结合图像和车辆元数据的多模态模型评估；
• 自然分布与平衡分布任务的受控比较。

非预期用途

• 医疗、法律、保险或事故责任决策的唯一依据；
• 识别人员、车主或具体碰撞位置；
• 操作性车辆安全认证；
• 超出可观察证据或提供元数据的主张。

许可协议

Crash-VQA 的原始标注、标准化标签、任务定义、划分定义、代码和文档采用 CC BY 4.0 许可（详见 LICENSE）。源材料未通过此存储库重新许可，其归属和适用来源说明详见 SOURCE_NOTICE.md。

搜集汇总

数据集介绍

构建方式

Crash-VQA数据集源自美国国家公路交通安全管理局的碰撞调查抽样系统（CISS），旨在推动真实世界碰撞场景下的多图像视觉问答研究。该数据集以每行一条任务标注为基本单元，每条记录包含归一化的标签、结构化车辆元数据（如车型、年份、整备质量）以及最多九个标准视角的车辆图像。数据集的构建过程严格遵循案例隔离原则，确保训练、验证与测试集之间不共享案例，从而保障评估的公正性。此外，数据集提供了两种配置：自然分布（natural）保持原始数据统计特征，适用于反映真实场景的模型训练；平衡分布（balanced）则通过采样控制任务与标签分布，便于进行公平的对比实验。

特点

Crash-VQA数据集的核心特色在于其多视角视觉证据与结构化目标标签的有机结合。每条样本可独立呈现前、后、侧、角及顶部等九个规范视角的图像，为模型提供了丰富的空间上下文信息。数据集涵盖五项关键碰撞分析任务：主撞击平面、撞击方向（时钟面）、损伤程度、速度变化区间及重伤指标，每项任务均采用紧凑的归一化标签空间，便于可重复评估。此外，车辆元数据（如车型、年份、整备质量）作为可选输入，为多模态融合研究提供了额外维度。自然与平衡两种数据配置的并存，使研究者能够在不同分布条件下深入探索模型性能。

使用方法

Crash-VQA数据集通过Hugging Face Datasets库便捷加载，支持两种配置：natural与balanced。用户可调用`load_dataset("oValach/Crash-VQA", "natural")`或`load_dataset("oValach/Crash-VQA", "balanced")`直接获取训练、验证及测试分片。每条记录包含任务名称、标签、元数据及九列图像特征，图像以`Image()`数据类型存储，缺失视角对应null值。研究者可根据任务名称（如`plane_atomic`、`clock_atomic`）筛选特定目标，并组合可用的多视角图像作为模型输入。建议按任务分别报告性能，以反映模型在不同碰撞分析维度上的能力，并谨慎解释基准精度在真实事故重建中的意义。

背景与挑战

背景概述

Crash-VQA数据集由研究团队于2024年创建，基于美国国家公路交通安全管理局（NHTSA）的碰撞调查采样系统（CISS）构建，旨在推动多图像视觉问答（VQA）在后碰撞车辆损伤理解领域的发展。该数据集包含超过6.4万条问答记录，覆盖五个结构化任务，如冲击平面、损伤程度及Delta-V区间评估，并提供九种标准视角图像。其影响在于弥合计算机视觉与交通安全研究的鸿沟，为多模态模型在安全关键场景中的性能评估提供了标准化基准，助力车辆安全分析与事故重建研究。

当前挑战

Crash-VQA面临的挑战包括：1）领域问题层面，后碰撞损伤理解需处理多视角图像中的模糊性，例如损伤外观因视角不同而各异，且标签简化了复杂碰撞现象，难以直接对应真实事故重建需求。2）构建过程中，数据源自CISS抽样，可能引入采样偏差、图像质量不均及元数据缺失问题；还需标准化九个潜在空值视图，并平衡自然分布与均衡配置以支持控制比较，确保任务的可复现性和公平评估。

常用场景

经典使用场景

Crash-VQA作为首个面向真实世界碰撞事故的结构化视觉问答基准，其经典使用场景在于为多模态大模型提供一套标准化的后碰撞车辆损伤理解评估框架。数据集以美国国家公路交通安全管理局的CISS真实事故调查数据为源，精心构建了涵盖撞击主平面、时钟方向损伤角度、损伤程度、Delta-V速度变化区间以及AIS 2+重伤指标等五项核心任务的问答体系。每项任务均配有经专业人士规范化的紧凑标签空间，配合从九个标准视角获取的车辆多视图影像以及车辆类型、车龄、整备质量等结构化元数据，使得研究者能够系统性地检验模型在复杂真实事故场景下的视觉推理与跨模态融合能力。

实际应用

在工业实际应用中，Crash-VQA所承载的任务体系与车辆安全评估、保险定损、事故重建及智能交通系统等领域高度契合。保险公司可借助基于该数据集训练的模型自动分析碰撞图像，实现损伤程度的快速量化评估与理赔方案的初步生成；车辆安全工程师能够利用撞击方向与Delta-V预测结果优化被动安全系统的标定参数；事故重建专家则能够从残缺的多视角影像中推断碰撞发生时的力学场景。该数据集的平衡配置版本更是为工程部署中的类别不均衡问题提供了可控的评估环境，使其成为连接实验室研究与工业落地的关键桥梁。

衍生相关工作

Crash-VQA的发布已在学术界催生了一系列衍生研究工作。在模型架构方面，研究者基于其多视图输入特性，探索了针对缺失视图的鲁棒性注意力机制与图神经网络融合策略，以充分利用非对称的车辆损伤图谱信息。在预训练范式层面，该数据集推动了面向安全关键领域的大规模视觉语言模型微调方案的设计，衍生出交通事故场景下对抗样本生成与不确定性量化等研究方向。此外，其规范化的任务定义与评估协议已启发了后续面向两轮车事故、行人碰撞及复杂多车连环事故的新型数据集构建工作，逐步形成一个以真实世界事故为核心数据的多模态安全评估生态体系。