nuScenes-Occupancy

nuScenes-Occupancy是由中国科学院自动化研究所和PhiGent Robotics合作创建的大规模数据集，专注于自动驾驶领域的周围语义占用感知。该数据集通过密集的语义占用标注扩展了原有的nuScenes数据集，包含28130个训练帧和6019个验证帧，每个帧中为占用体素分配了17种语义标签。数据集的创建过程中采用了增强和净化（AAP）管道，以高效地标注和密集化占用标签，涉及约4000人小时的标注努力。nuScenes-Occupancy数据集旨在推动自动驾驶中周围占用感知算法的发展，解决现有基准在城市场景多样性和前视预测评估方面的不足。

nuScenes-Occupancy is a large-scale dataset co-created by the Institute of Automation, Chinese Academy of Sciences and PhiGent Robotics, focusing on surrounding semantic occupancy perception for autonomous driving. It extends the original nuScenes dataset with dense semantic occupancy annotations, including 28,130 training frames and 6,019 validation frames, where each frame assigns 17 semantic labels to occupancy voxels. An Augmentation and Purification (AAP) pipeline was adopted during the dataset construction to efficiently annotate and densify the occupancy labels, involving approximately 4,000 person-hours of annotation effort. The nuScenes-Occupancy dataset aims to advance the development of surrounding occupancy perception algorithms for autonomous driving, addressing the shortcomings of existing benchmarks in terms of urban scene diversity and forward-view prediction evaluation.

AI搜集汇总

数据集介绍

构建方式

nuScenes-Occupancy数据集通过扩展大规模的nuScenes数据集，引入了密集的语义占用标注。为了克服传统LiDAR点云标注的稀疏性问题，研究团队设计了Augmenting And Purifying (AAP)管道，该管道通过多帧LiDAR点叠加初始化标注，并利用伪占用标签进行增强，最终通过人工校正进一步净化标注。这一过程使得标注密度提升了约2倍，生成了高质量的语义占用标签。

使用方法

nuScenes-Occupancy数据集适用于多种自动驾驶感知任务，特别是围绕语义占用感知的算法开发与评估。研究者可以利用该数据集进行相机、LiDAR或多模态融合的算法训练与测试，通过IoU和mIoU等指标评估模型性能。此外，数据集还提供了Cascade Occupancy Network (CONet)等基准模型，帮助研究者快速上手并优化高分辨率占用预测算法。

背景与挑战

背景概述

nuScenes-Occupancy数据集由中科院自动化研究所、PhiGent Robotics、清华大学等机构的研究人员共同开发，旨在为自动驾驶领域提供密集的语义占用感知标注。该数据集基于大规模的nuScenes数据集，通过引入Augmenting And Purifying (AAP)流水线，对原始数据进行了约2倍的密集标注，涉及约4000个人工小时。nuScenes-Occupancy数据集包含了850个场景和20万帧图像，提供了40 × 512 × 512的体素尺寸和0.2米的网格尺寸，涵盖了17种语义标签。该数据集的提出填补了现有自动驾驶领域中缺乏大规模、多样化城市场景语义占用感知标注的空白，为自动驾驶感知算法的发展提供了重要支持。

当前挑战

nuScenes-Occupancy数据集的构建面临多重挑战。首先，语义占用感知任务要求对城市环境中所有空间占用的区域进行精细标注，这在实际操作中极为复杂且耗时。其次，由于LiDAR点云的稀疏性，部分占用标签可能因遮挡或LiDAR通道限制而缺失，AAP流水线的引入虽然缓解了这一问题，但仍需大量人工校正。此外，高分辨率3D预测的计算负担是该数据集面临的另一大挑战，尽管提出了Cascade Occupancy Network (CONet)以提升效率，但如何在保证精度的同时降低计算复杂度仍是亟待解决的问题。

常用场景

经典使用场景

nuScenes-Occupancy 数据集在自动驾驶领域中被广泛用于语义占用感知任务。其经典使用场景包括通过密集的语义占用标注，帮助算法在复杂的城市环境中识别和分割不同的物体和区域，如车辆、行人、道路、建筑物等。通过提供高分辨率的3D占用标签，该数据集能够支持自动驾驶系统对周围环境的全面感知，从而提升车辆的安全性和导航能力。

解决学术问题

nuScenes-Occupancy 数据集解决了现有语义占用感知基准数据集在城市场景多样性和前视图预测方面的不足。通过引入大规模的密集语义占用标注，该数据集为研究人员提供了一个全面的基准，用于评估和开发围绕感知算法。其提出的Augmenting And Purifying (AAP) 管道显著提高了标注的密度和准确性，为语义占用感知研究提供了高质量的数据支持，推动了自动驾驶感知技术的发展。

实际应用

在实际应用中，nuScenes-Occupancy 数据集为自动驾驶车辆提供了强大的环境感知能力。通过高精度的3D语义占用标注，车辆能够更准确地识别和理解周围环境中的物体和区域，从而实现更安全的导航和决策。该数据集的应用场景包括自动驾驶车辆的实时环境感知、路径规划、障碍物检测与规避等，极大地提升了自动驾驶系统的可靠性和安全性。

数据集最近研究

最新研究方向

近年来，nuScenes-Occupancy数据集在自动驾驶领域的语义占用感知研究中引起了广泛关注。该数据集通过引入OpenOccupancy基准，扩展了nuScenes数据集，提供了密集的语义占用标注，填补了现有基准在城市场景多样性和环绕感知评估方面的不足。研究者们通过Augmenting And Purifying (AAP) 管道，显著提升了标注的密度和准确性，为算法提供了更丰富的训练数据。此外，提出的Cascade Occupancy Network (CONet) 通过粗到细的预测流程，有效缓解了高分辨率3D预测的计算负担，提升了算法的性能。这些进展不仅推动了环绕语义占用感知算法的发展，还为自动驾驶系统的安全性和鲁棒性提供了重要支持。

相关研究论文

• OpenOccupancy: A Large Scale Benchmark for Surrounding Semantic Occupancy Perception

  中国科学院自动化研究所 · 2023年