VAA-KITTI, VAA-KITTI-360

VAA-KITTI和VAA-KITTI-360是两个用于评估自动驾驶中3D语义占位预测的异常检测数据集，包含26种不同的异常类别，如动物、家具和垃圾袋等。这些数据集是通过合成异常集成管道生成的，旨在解决现有方法对分布外对象的脆弱性问题，提高自动驾驶的安全性。

VAA-KITTI and VAA-KITTI-360 are two anomaly detection datasets dedicated to evaluating 3D semantic occupancy prediction in autonomous driving scenarios. They encompass 26 distinct anomaly categories, such as animals, furniture, garbage bags, and so forth. These datasets are generated via a synthetic anomaly integration pipeline, designed to address the vulnerability of existing methods to out-of-distribution (OOD) objects and enhance the safety of autonomous driving.

原始信息汇总

Out-of-Distribution Semantic Occupancy Prediction 数据集概述

数据集名称

OccOoD

数据集简介

• 专注于分布外（Out-of-Distribution, OoD）语义占据预测。
• 通过合成异常集成管道生成合成异常数据，用于鲁棒OoD检测模型评估。

数据集组成

1. VAA-KITTI

   • 基于SemanticKITTI数据集生成。
   • 扩展原始标签集，引入异常标签。

2. VAA-KITTI-360

   • 基于SSCBench-KITTI-360数据集生成。
   • 扩展原始标签集，引入异常标签。

异常类别

• 包含26种不同的异常类别，例如：
  • 动物
  • 家具
  • 垃圾袋

数据生成方法

• 采用合成异常集成管道（Synthetic Anomaly Integration Pipeline）。
• 在物理和环境约束下生成合成异常，确保数据的合理性和挑战性。

当前状态

• 代码和数据集将在论文被接受后公开。
• 最新更新：2025年06月，初始化仓库。

致谢

基于以下开源项目：

• SGN
• mmdet3d
• OccRWKV

搜集汇总

数据集介绍

构建方式

VAA-KITTI与VAA-KITTI-360数据集通过创新的合成异常集成流程构建，该流程在真实道路场景中注入多样化的合成异常物体，同时保持合理的空间布局与遮挡关系。研究团队采用三阶段方法：首先利用先进图像生成技术POC合成带掩码图的异常图像；随后通过支持向量回归（SVR）将伪深度对齐至真实深度，实现2D异常到3D点云的精确投影；最终通过体素化与光线追踪技术将异常物体融入原始点云场景，形成包含26类异常物体的三维语义占据标注。

特点

该数据集的核心特征体现在三维语义占据预测中首次系统性地引入分布外（OoD）检测任务。数据集包含500张测试图像，覆盖动物、家具、垃圾等5大类异常物体，且在VAA-KITTI-360中实现类别均衡分布，在VAA-KITTI中呈现极端分布，有效验证模型在不同异常分布场景下的鲁棒性。通过区域级评估指标AuPRCr的设计，允许定位误差容忍的同时确保异常感知能力，填补了自动驾驶安全研究中三维异常检测基准的空白。

使用方法

数据集支持端到端的3D语义占据预测与异常检测联合训练。研究者可通过OccOoD框架实现多视角特征融合：前端视图编码器提取几何特征，鸟瞰图（BEV）分支增强全局场景理解，渐进式体素-BEV融合策略（VBPF）通过几何解析与语义细化模块实现细粒度特征交互。评估时采用体素级异常评分机制，对实例类物体使用余弦相似度度量，区域类物体采用熵值加权，最终在标准化空间网格（256×256×32，0.2米分辨率）内输出语义占据预测与异常热力图。

背景与挑战

背景概述

VAA-KITTI和VAA-KITTI-360数据集由湖南大学和卡尔斯鲁厄理工学院的研究团队于2025年提出，旨在解决自动驾驶领域中三维语义占据预测中的分布外（OoD）物体检测问题。该数据集基于SemanticKITTI和SSCBench-KITTI-360数据集，通过合成异常集成管道（Synthetic Anomaly Integration Pipeline）注入26类合成异常物体，填补了现有数据集中缺乏OoD标注的空白。其核心研究问题是通过三维体素空间中的OoD检测，提升自动驾驶系统在复杂环境中的安全性和鲁棒性。该数据集的发布推动了三维场景理解领域的研究，特别是在异常检测和语义占据预测的结合方面。

当前挑战

VAA-KITTI和VAA-KITTI-360数据集面临的挑战主要包括两方面：领域问题的挑战和构建过程的挑战。在领域问题方面，现有语义占据预测方法主要关注分布内场景，对OoD物体和长尾分布敏感，导致异常漏检和误判风险，威胁自动驾驶安全。构建过程中的挑战包括：1）真实OoD数据稀缺且标注成本高，需依赖合成数据生成；2）合成异常需保持物理合理性和环境一致性，包括空间布局和遮挡关系；3）多模态数据（RGB、深度、点云）对齐与三维体素化中的几何精度问题；4）评估指标设计需平衡定位误差容忍与异常检测敏感性。

常用场景

经典使用场景

在自动驾驶领域，VAA-KITTI和VAA-KITTI-360数据集被广泛应用于3D语义占据预测任务中，特别是在处理分布外（OoD）物体的检测与识别。这些数据集通过合成异常注入技术，提供了丰富的异常物体样本，使得研究者能够在复杂的城市场景中评估模型的鲁棒性。其经典使用场景包括自动驾驶系统的环境感知模块开发，其中模型需要准确识别和分类未知或罕见物体，如突然出现的动物、遗弃的家具等，以确保行驶安全。

解决学术问题

VAA-KITTI和VAA-KITTI-360数据集解决了自动驾驶研究中两个关键学术问题：一是传统语义占据预测方法对分布内场景的过度依赖，导致对未知物体的误分类；二是缺乏标注异常物体的数据集，限制了OoD检测模型的开发。通过提供多样化的合成异常样本和精确的体素级标注，这些数据集填补了研究空白，推动了3D场景理解中异常检测技术的发展，显著提升了模型在真实复杂环境中的泛化能力。

衍生相关工作

该数据集催生了多项创新性研究工作，其中最典型的是OccOoD框架。该框架首次将体素与鸟瞰图（BEV）表示进行渐进式融合，通过几何语义协同增强OoD检测能力。其他衍生工作包括基于体积渲染的自监督占据预测方法LangOcc，以及利用高斯溅射进行时序建模的GaussianFlowOcc。这些研究共同推动了3D语义理解从封闭类别向开放世界的范式转变，为后续的开放词汇量占据预测（如OVO、POP-3D）奠定了基础。