WildOcc

WildOcc是由中国科学院计算技术研究所智能计算系统研究中心创建的第一个用于越野环境3D语义占用预测的基准数据集。该数据集包含10000帧密集的3D语义占用标注，涵盖了多种越野环境中的几何信息，如草地、树木、灌木等。数据集的创建过程采用了从粗到细的重建方法，以提高场景重建的准确性。WildOcc旨在解决越野环境中3D语义占用预测的问题，为自动驾驶技术在复杂环境中的应用提供支持。

WildOcc is the first benchmark dataset for 3D semantic occupancy prediction in off-road environments, developed by the Intelligent Computing System Research Center of the Institute of Computing Technology, Chinese Academy of Sciences. It contains 10,000 frames of dense 3D semantic occupancy annotations, covering geometric information from various off-road scenarios such as grasslands, trees, shrubs and more. The dataset was constructed using a coarse-to-fine reconstruction method to enhance the accuracy of scene reconstruction. WildOcc aims to address the problem of 3D semantic occupancy prediction in off-road environments, providing support for the application of autonomous driving technologies in complex environments.

原始信息汇总

WildOcc: A Dataset and Benchmark for Off-Road 3D Semantic Occupancy Prediction

摘要

• 该数据集是基于Rellis-3D数据集构建的，据我们所知，这是首个用于越野环境3D占据预测的数据集。
• 为了实现对越野环境密集占据地面实况的准确预测，我们优化了地面实况生成流程。
• 特别地，为了减少近距离物体之间的粘附，我们分别对地面（草地）和非地面（灌木、树木）物体使用不同深度的泊松重建，而不是对整个场景进行重建。
• 此外，我们提出了一种新的多模态LiDAR-相机框架WildOcc，该框架利用多帧的姿态和时间信息来融合来自LiDAR和相机的体素特征。
• 我们还提出了一种知识蒸馏策略，将LiDAR的丰富几何信息转移到上下文丰富的图像特征中。

开始使用

• 安装
• 准备数据集
• 训练和评估

致谢

• 该项目基于以下开源项目开发：
  • OpenOccupancy
  • SurroundOcc
  • BEVDet

搜集汇总

数据集介绍

构建方式

WildOcc数据集的构建基于Rellis-3D数据集，通过引入密集的三维语义占据标签，扩展了其应用范围。该数据集采用了一种从粗到细的重建流程，首先通过多帧点云聚合生成粗略的场景网格，然后根据语义类别对点云进行细分，分别进行粗略和精细的泊松重建，最终拼接生成完整的场景网格。这一流程确保了在复杂越野环境中的高精度重建，为三维语义占据预测任务提供了高质量的基准。

特点

WildOcc数据集的显著特点在于其针对越野环境的高密度语义占据标注，填补了该领域数据集的空白。此外，数据集引入了多模态的三维语义占据预测框架，通过融合时空信息和跨模态知识蒸馏，提升了预测的准确性和鲁棒性。数据集的发布为越野环境下的自动驾驶研究提供了宝贵的资源，推动了该领域技术的发展。

使用方法

WildOcc数据集适用于三维语义占据预测任务，特别针对越野环境。研究者可以利用该数据集训练和验证其算法，通过多帧图像和点云的融合，实现对场景中每个占据体素的语义标签预测。数据集支持多种模态的输入，包括相机和激光雷达，研究者可以根据需求选择合适的模态进行实验。此外，数据集还提供了详细的标注和基准测试结果，便于研究者进行性能评估和算法优化。

背景与挑战

背景概述

在自动驾驶领域，3D语义占用预测是关键技术之一，旨在捕捉场景的几何细节。尽管在道路环境中已有大量研究，但非道路环境的3D语义占用预测仍处于起步阶段。为填补这一空白，Heng Zhai等人于2024年提出了WildOcc数据集，这是首个针对非道路环境的3D语义占用预测基准。该数据集由中科院计算技术研究所和上海科技大学联合开发，通过精细的从粗到细重建技术生成密集的占用标注，为非道路环境的3D语义占用预测提供了宝贵的资源。

当前挑战

WildOcc数据集面临的挑战主要来自两个方面：一是非道路环境的复杂性，如不规则物体（如草、灌木和树木）的存在，使得场景重建变得困难；二是数据集构建过程中的技术难题，如直接重建整个场景会导致误差，因此需要采用从粗到细的重建策略。此外，跨模态知识蒸馏的引入，旨在从激光雷达分支向相机分支传递几何知识，也增加了模型的复杂性和训练难度。

常用场景

经典使用场景

在自动驾驶领域，3D语义占用预测是核心任务之一，旨在捕捉场景的几何细节。WildOcc数据集专注于非道路环境的3D语义占用预测，通过提供密集的占用标注，帮助研究者重建复杂的非道路场景，如草地、灌木和树木等。该数据集通过多模态融合框架，结合时空信息，实现了从多帧图像和点云中提取几何知识，从而提高了预测的准确性和可靠性。

实际应用

WildOcc数据集在实际应用中具有广泛的前景，特别是在农业机器人、野外勘探和军事侦察等领域。通过精确的3D语义占用预测，机器人能够在复杂的地形中自主导航，避免障碍物，提高任务执行的效率和安全性。此外，该数据集还可用于训练和验证新的算法，进一步提升自动驾驶系统在非结构化环境中的适应能力。

衍生相关工作

基于WildOcc数据集，研究者们开发了多种相关工作，如OFFOcc框架，该框架通过时空对齐和跨模态知识蒸馏，显著提升了3D语义占用预测的性能。此外，还有研究探索了多模态融合技术，进一步优化了数据集的应用效果。这些衍生工作不仅丰富了自动驾驶领域的研究内容，也为实际应用提供了更多可能性。