SemanticTHAB

SemanticTHAB数据集由阿沙芬堡大学应用科学系和卡塞尔大学智能嵌入式系统实验室创建，用于高分辨率汽车LiDAR扫描的语义分割。该数据集包含4750个扫描，由先进的128层汽车LiDAR在城市交通场景中收集。数据集内容丰富，包括建筑物、植被、道路、行人等类别，并利用PointLabeler进行分组和注释。数据集创建过程利用了先进的LiDAR传感器和SLAM模块进行ego-motion估计。SemanticTHAB数据集适用于自动驾驶汽车的感知系统，旨在解决现有分割方法在硬件发展和实时处理方面的挑战。

The SemanticTHAB dataset was developed by the Department of Applied Sciences of the University of Applied Sciences Aschaffenburg and the Intelligent Embedded Systems Laboratory of Kassel University, for semantic segmentation of high-resolution automotive LiDAR scans. It comprises 4,750 scans collected using state-of-the-art 128-channel automotive LiDAR in urban traffic scenarios. The dataset covers a rich set of annotation categories including buildings, vegetation, roads, pedestrians and other common traffic-related classes, with all data grouped and annotated via PointLabeler. The dataset construction process leveraged cutting-edge LiDAR sensors and SLAM modules for ego-motion estimation. Tailored for autonomous vehicle perception systems, the SemanticTHAB dataset is intended to address the challenges encountered by existing semantic segmentation methods in hardware development and real-time processing.

原始信息汇总

数据集概述

数据集简介

• 名称: Real Time Semantic Segmentation of High Resolution Automotive LiDAR Scans
• 用途: 用于训练和微调Ouster OS2-128 (Rev 7) LiDAR数据的语义分割模型
• 数据来源: TH AB

包含的数据集

1. SemanticKITTI

   • 规模: 22,000+ 3D LiDAR点云
   • 环境: 城市环境
   • 标注: 28个语义类别（如道路、汽车、行人、建筑物等）
   • 用途: 自动驾驶中的语义分割算法训练与评估

2. SemanticTHAB

   • 规模: 4,000+ 3D LiDAR点云
   • 环境: 城市环境
   • 标注: 与SemanticKITTI共享标签定义
   • 下载地址: https://zenodo.org/records/14906179
   • DOI: 10.5281/zenodo.14906179

开发环境

• 操作系统: Ubuntu 22.04.4 LTS x86_64
• 硬件配置:
  • CPU: AMD Ryzen 9 3900X (24) @ 3.800G
  • GPU: NVIDIA GeForce RTX 3090
  • 内存: 32031MiB
• 开发工具: VS-Code，使用远程容器开发

训练与推理

1. 训练SemanticKITTI

   • 单次训练命令: python train_semantic_Kitti.py --model_type resnet34 --learning_rate 0.001 --num_epochs 50 --batch_size 1 --num_workers 1 --rotate --flip --visualization

   • 批量训练脚本: ./run_training_kitti.sh

   • 输出结构:

     dataset └───train_semantic_KITTI └───{backbone}_{model_configuration} │ config.json │ events.out.tfevents.* │ model_final.pth │ results.json

2. 训练SemanticTHAB

   • 训练命令: python repos/train_semantic_THAB.py --model_type resnet34 --learning_rate 0.001 --num_epochs 50 --batch_size 8 --num_workers 16 --rotate --flip --visualization

   • 批量训练脚本: ./run_training_THAB.sh

   • 输出结构:

     dataset └───train_semantic_THAB └───{backbone}_{model_configuration} │ config.json │ events.out.tfevents.* │ model_final.pth │ results.json

3. 推理示例

   • 示例脚本: /src/inference_ouster.py

ROS演示系统

• 仓库地址: https://github.com/kav-institute/Semantic_LiDAR_ROS

许可证

• 项目许可证: Apache 2.0 License
• 数据集许可证: 单独提供，需另行查看

搜集汇总

数据集介绍

构建方式

SemanticTHAB数据集通过搭载128层Ouster OS2激光雷达的研究车辆在复杂城市交通场景中采集高分辨率点云数据，采用基于SLAM的自动标注流程，利用PointLabeler工具结合语义KITTI的标注规范进行点级语义标注。数据采集覆盖住宅区、城市环线、步行区等9类差异化场景，通过严格的运动补偿和反射率校准确保数据质量，最终形成包含4750帧点云的多模态数据集。

使用方法

研究者可通过公开的ROS2接口实时接入点云流，配套提供的Docker环境包含完整训练验证流程。建议采用迁移学习策略，先在语义KITTI预训练再微调，结合球形投影将3D点云转换为2D范围图像以提升处理效率。数据集特别适配基于CNN的实时分割架构，通过引入表面法向量特征可提升7.2%的mIoU。针对不同算力平台，提供ResNet和ShuffleNet等多规格模型选择，在RTX3090上最快达到8ms单帧处理速度。

背景与挑战

背景概述

SemanticTHAB数据集由德国阿沙芬堡应用技术大学和卡塞尔大学的研究团队于2025年提出，旨在解决高分辨率激光雷达数据的实时语义分割问题。该数据集采用先进的128层Ouster OS2激光雷达采集，包含4750帧城市交通场景的点云数据，标注遵循SemanticKITTI标准但优化了交通标识类别。作为首个专为现代高分辨率激光雷达设计的语义分割基准，其128层的垂直分辨率显著超越传统64层传感器（如SemanticKITTI），为自动驾驶感知系统提供了更精细的环境表征能力。数据集特别关注行人密集区域和复杂城市场景，通过ROS2实现的实时演示系统验证了其在实践中的应用价值，推动了激光雷达硬件发展与算法研究的协同进化。

当前挑战

该数据集面临的挑战主要体现在两个方面：领域问题方面，高分辨率点云导致单帧数据量激增，传统基于64层雷达设计的算法面临实时性瓶颈，需在25ms内完成处理以满足自动驾驶感知流水线需求；同时，128层雷达带来的几何细节提升要求算法重新平衡局部特征与全局上下文的关系。构建过程方面，高密度点云使标注复杂度呈指数增长，尤其对小型物体（如交通标识）的标注需要特殊处理；传感器升级还导致现有基于低分辨率数据的预训练模型出现领域适应问题，需设计新的迁移学习策略。此外，数据分布不均衡问题突出，建筑物等主导类别与弱势类别（如自行车骑行者）的样本量差异达三个数量级，影响模型泛化能力。

常用场景

经典使用场景

SemanticTHAB数据集专为高分辨率激光雷达数据的实时语义分割而设计，主要应用于自动驾驶和高级驾驶辅助系统（ADAS）中的环境感知任务。通过128层激光雷达采集的城市场景数据，该数据集支持对复杂交通环境中的动态和静态物体进行精确分类，如车辆、行人、建筑物等。其高分辨率和实时处理能力使其成为评估和开发新型语义分割算法的理想平台。

解决学术问题

该数据集解决了现有激光雷达语义分割研究中传感器分辨率不足和实时性差的问题。传统数据集如SemanticKITTI基于低分辨率传感器，难以满足现代高精度感知需求。SemanticTHAB通过引入表面法线特征和优化的CNN架构，在保持高帧率（85 FPS）的同时实现了63.71%的mIoU，填补了高分辨率传感器数据与实时算法之间的技术鸿沟，推动了自动驾驶感知系统的实用化进程。

实际应用

在实际应用中，SemanticTHAB已集成至ROS2平台，部署于研究车辆进行实时道路场景解析。其高帧率和低延迟特性（8ms推理时间）支持自动驾驶系统快速响应复杂环境变化，例如密集行人区域的动态避障、交通标志识别等。数据集涵盖工业区、城市道路等多场景，为车载计算单元的性能优化提供了真实世界基准。

数据集最近研究

最新研究方向

随着自动驾驶技术的快速发展，高分辨率激光雷达数据的语义分割成为研究热点。SemanticTHAB数据集的推出填补了现有数据集在传感器分辨率和实时处理能力方面的空白。该数据集采用128层激光雷达采集，覆盖多样化的城市交通场景，为语义分割算法提供了更高质量的训练基准。前沿研究聚焦于结合表面法线特征的实时分割方法，通过球面投影和卷积神经网络架构，在保持高精度的同时满足实时性要求。这一方向的发展将直接推动自动驾驶环境感知系统的性能提升，并为下一代高分辨率激光雷达的应用奠定算法基础。

相关研究论文

• Real Time Semantic Segmentation of High Resolution Automotive LiDAR Scans

  应用科学阿沙芬堡大学工程系, 卡塞尔大学智能嵌入式系统实验室 · 2025年