nuScenes-UNION-labels

nuScenes-UNION标签数据集是基于nuScenes数据集的，包含了使用UNION方法生成的预建的.pkl标注文件。UNION是一种无监督的3D目标检测方法，利用基于外观的伪类进行检测。该数据集分为三个顶层文件夹：标准标签、类无关标签和多类003标签，分别用于标准数据集划分和类别的MMDetection3D信息、类无关和多功能（车辆、行人、骑行者）3D目标检测的地面真实标签和伪标签。

The nuScenes-UNION annotation dataset is based on the nuScenes dataset, and contains pre-built .pkl annotation files generated via the UNION method. UNION is an unsupervised 3D object detection approach that leverages appearance-based pseudo-classes for detection. This dataset is split into three top-level folders: standard annotations, class-agnostic annotations, and multi-class 003 annotations. These three folders serve the following respective purposes: the standard annotations folder is used for standard dataset partitioning and category-specific MMDetection3D-related information; the class-agnostic annotations folder is used for class-agnostic 3D object detection ground-truth labels and pseudo-labels; and the multi-class 003 annotations folder is used for multi-functional (vehicle, pedestrian, cyclist) 3D object detection ground-truth labels and pseudo-labels.

原始信息汇总

nuScenes-UNION-labels 数据集概述

基本信息

• 数据集名称: nuScenes-UNION-labels
• 许可证: CC BY-NC-SA 4.0（非商业性使用，相同方式共享）
• 任务类别: 目标检测
• 语言: 英语
• 相关论文: UNION: Unsupervised 3D Object Detection using Appearance-based Pseudo-Classes（NeurIPS 2024）

数据集内容

• 标注类型: 伪标签（pseudo-labels）
• 数据来源: 基于nuScenes数据集生成
• 标注格式: MMDetection3D信息文件（.pkl格式）
• 文件夹结构:
  • standard-labels: 标准数据集分割和类别的真实标注
  • class-agnostic-labels: 类别无关的3D目标检测的真实标签和伪标签
  • multi-class-003-labels: 多类别（车辆、行人、骑行者）的3D目标检测的真实标签和伪标签

用途特点

• 专为无监督3D目标检测设计
• 基于外观的伪类别生成
• 快速复现UNION结果，无需重新生成标签
• 仅包含标注文件，不包含传感器数据

相关资源

• UNION代码库: https://github.com/TedLentsch/UNION
• nuScenes数据集: https://www.nuscenes.org/nuscenes
• 原始论文: https://arxiv.org/abs/2405.15688

使用要求

• 必须遵守原始nuScenes数据集的许可协议
• 使用时需要引用nuScenes、MMDetection3D和UNION的相关文献
• 仅限非商业用途

搜集汇总

数据集介绍

构建方式

nuScenes-UNION-labels数据集基于nuScenes自动驾驶多模态数据集，通过UNION无监督三维目标检测框架生成伪标签。该框架利用外观相似性聚类生成伪类别，无需人工标注即可构建大规模三维检测标签。构建过程继承nuScenes的传感器数据结构和标注规范，确保与原始数据集的无缝兼容。

使用方法

用户需先下载原始nuScenes数据集，随后加载本仓库提供的.pkl标注文件至MMDetection3D框架。标注文件包含训练、验证和测试集的伪标签信息，可直接用于模型训练和评估。使用时应同时引用nuScenes、MMDetection3D和UNION的原始文献，并严格遵守非商业用途的许可协议。

背景与挑战

背景概述

nuScenes-UNION-labels数据集由Ted Lentsch、Holger Caesar和Dariu M. Gavrila等研究人员于2024年构建，作为NeurIPS会议论文的核心组成部分。该数据集基于著名的nuScenes自动驾驶多模态数据集，专注于无监督三维物体检测领域，通过外观伪类方法生成高质量标注。其创新性在于突破了传统依赖人工标注的局限，为三维视觉研究提供了可扩展的解决方案，显著推动了自动驾驶环境中物体识别技术的发展。

当前挑战

该数据集致力于解决无监督三维物体检测中的领域挑战，包括复杂场景下的物体外观多样性、遮挡处理以及跨模态数据对齐问题。构建过程中面临伪标签生成的一致性保障、噪声抑制以及与nuScenes原始数据结构的兼容性等工程难题，需通过精密算法确保标注可靠性同时维持非商业许可的法律合规性。

常用场景

经典使用场景

在自动驾驶三维感知研究领域，nuScenes-UNION-labels数据集通过无监督方式生成的高质量伪标签，为三维目标检测模型提供了关键训练支持。该数据集特别适用于验证基于外观相似性的无监督学习方法，研究者可借助其类无关及多类别伪标签，有效探索未标注点云数据中的物体表征规律，显著提升检测模型在复杂交通场景中的泛化能力。

解决学术问题

该数据集成功解决了三维目标检测领域对大规模标注数据依赖的瓶颈问题，通过无监督伪标签生成技术突破标注成本限制。其创新性地利用外观相似性构建伪类别体系，为无监督三维检测提供了可量化的评估基准，推动了自监督学习在点云数据处理中的理论发展，对降低自动驾驶系统开发门槛具有重要学术价值。

实际应用

在实际自动驾驶系统开发中，该数据集能够显著加速三维感知模块的迭代优化进程。工程团队可借助其提供的预生成伪标签，快速构建初始检测模型并验证在不同天气和光照条件下的稳定性。特别在缺乏真实标注数据的边缘场景中，这些高质量伪标签为传感器融合算法提供了可靠的训练基础，有效提升系统对异形车辆和弱势道路使用者的检测精度。

数据集最近研究

最新研究方向

自动驾驶领域对无监督3D物体检测的需求日益增长，nuScenes-UNION-labels数据集通过基于外观的伪类别生成技术，为无标注点云数据提供了高质量的伪标签解决方案。该数据集与NeurIPS 2024发表的UNION方法紧密结合，推动了类无关和多类别检测任务的研究进展。其采用的外观一致性聚类和跨模态对齐策略，显著提升了模型在复杂交通场景中的泛化能力，为减少对人工标注的依赖开辟了新途径，对低成本高精度自动驾驶系统的开发具有重要推动意义。