CARLA-KITTI Roadside Dataset

该项目是一个基于CARLA模拟环境开发的高质量路侧数据集自动生成器。它支持多视角RGB图像、3D LiDAR点云数据、注释文件（包括2D/3D边界框）和传感器校准参数的数据输出。生成的数据完全兼容KITTI数据集格式，适用于训练和验证自动驾驶感知算法。

This project is a high-quality roadside dataset auto-generator developed based on the CARLA simulation environment. It supports exporting multi-view RGB images, 3D LiDAR point cloud data, annotation files (including 2D/3D bounding boxes), and sensor calibration parameters. The generated data is fully compatible with the KITTI dataset format, and is suitable for training and validating autonomous driving perception algorithms.

原始信息汇总

CARLA-KITTI Roadside Dataset Auto-Generator 数据集概述

数据集背景

• 基于CARLA仿真环境开发的高质量路边数据集自动生成工具
• 数据格式完全兼容KITTI数据集标准
• 适用于自动驾驶感知算法的训练和验证

关键特性

多传感器同步数据采集

• 摄像头（前/侧/顶多角度）
• LiDAR（32线）
• 惯性测量单元

智能交通流生成

• 随机车辆和行人生成与控制
• 动态天气系统
• 支持复杂道路场景

自动标注系统

• 生成2D/3D边界框标注
• 支持对象类别标注（车辆/行人/交通标志等）
• 提供精确位置和方向信息

数据输出

• 多视角RGB图像（分辨率960×640）
• 3D LiDAR点云数据
• 标注文件（包含2D/3D边界框）
• 传感器标定参数

数据集结构

bash training_YYYYMMDD_HHMMSS/ ├── bbox_img/ # 带2D边界框的RGB图像 ├── calib/ # 摄像头和LiDAR标定文件 ├── ego_state/ # 自车状态（位姿、速度、加速度） ├── extrinsic/ # 传感器外参矩阵（4×4齐次变换） ├── image/ # 原始RGB图像 ├── image_label/ # 图像标注文件 ├── lidar_label/ # LiDAR点云标注文件 ├── mask/ # 各类掩码图像 │ ├── bbox/ # 边界框区域掩码 │ ├── ego/ # 自车区域掩码 │ ├── nonrigid/ # 非刚性物体掩码 │ ├── object_intersection/ # 物体交叉区域掩码 │ │ ├── nonrigid/ # 非刚性物体交叉区域 │ │ └── rigid/ # 刚性物体交叉区域 │ ├── rigid/ # 刚性物体掩码 │ └── sky/ # 天空区域掩码 ├── masked_images/ # 应用掩码后的图像 │ ├── nonrigid/ # 非刚性物体掩码图像 │ ├── rigid/ # 刚性物体掩码图像 │ └── sky/ # 天空区域掩码图像 └── velodyne/ # LiDAR点云数据

数据格式规范

图像标注

• 生成方法: 通过is_visible_in_camera函数生成
• 可见性标准:
  • 至少MIN_VISIBLE_VERTICES_FOR_RENDER个顶点可见
  • 最多MAX_OUT_VERTICES_FOR_RENDER个顶点在图像外
• 遮挡判定:
  • 完全可见: 超过6个顶点可见
  • 部分遮挡: 4-5个顶点可见
  • 严重遮挡: 少于4个顶点可见
• 截断计算: 图像外顶点数/8

LiDAR标注

• 生成方法: 通过is_visible_in_lidar函数生成
• 可见性标准: 至少MIN_VISIBLE_NUM_FOR_POINT_CLOUDS个点云属于目标对象
• 固定值:
  • truncated: 0
  • occlusion: 0
  • alpha: 0
  • bbox: [0,0,0,0]

传感器配置

主传感器

• RGB摄像头:

  • 分辨率: 960x640
  • FOV: 90°
  • 位置: 前中心(0, 0.0, 1.6)

• LiDAR:

  • 范围: 70m
  • 旋转频率: 20Hz
  • 垂直FOV: -10°至+20°
  • 每秒点数: 2.56M
  • 通道数: 128
  • 位置: 前中心(0, 0, 1.6)

注意事项

1. 数据生成期间必须保持CARLA服务器运行
2. 建议使用高性能GPU（如640Ti或更高）
3. 数据生成速率约为8-12 FPS
4. 支持自定义传感器布局，修改config/sensors.json配置

搜集汇总

数据集介绍

构建方式

Carla-Simulation-Dataset-Generator 是基于 CARLA 模拟环境开发的高质量路边数据集自动生成器。该数据集支持多视角 RGB 图像、3D LiDAR 点云数据、标注文件以及传感器标定参数的输出。构建过程中，采用多传感器同步数据采集，包括多种角度的摄像头、32光束的 LiDAR 以及惯性测量单元。同时，通过智能交通流生成系统，实现随机车辆和行人的生成与控制，动态天气系统以及复杂道路场景的支持。自动标注系统则负责生成 2D/3D 边界框标注，并支持对象类别标记和精确的位置与方向信息。

特点

该数据集的特点在于其生成的数据完全兼容 KITTI 数据集格式，适用于自动驾驶感知算法的训练与验证。具备多传感器同步数据采集、智能交通流生成以及自动标注系统等特性。数据集包含多视角 RGB 图像、3D LiDAR 点云数据、标注文件和传感器标定参数，能够满足不同场景和对象的需求。

使用方法

使用 Carla-Simulation-Dataset-Generator 数据集时，首先需要启动 CARLA 服务器，并确保服务器在数据生成过程中持续运行。其次，运行生成器脚本即可开始数据生成。数据集的结构清晰，包括边界框图像、校准文件、自我状态、外矩阵、原始 RGB 图像、图像标注文件、LiDAR 点云标注文件等多种类型的文件。用户可根据需求，配置不同的传感器布局，并在具备高性能 GPU 的环境下，实现约 8-12 FPS 的数据生成率。

背景与挑战

背景概述

Carla-Simulation-Dataset-Generator是基于CARLA模拟环境开发的高质量路边数据集自动生成器。该项目能够输出多视角RGB图像、3D LiDAR点云数据、标注文件（包括2D/3D边界框）、以及传感器校准参数等，其生成的数据完全兼容KITTI数据集格式，适用于自动驾驶感知算法的训练和验证。该项目由Gary Yifan Zhang主导开发，旨在为自动驾驶领域提供一种高效的数据生成方法。

当前挑战

在数据集构建过程中，研究人员面临了多传感器同步数据收集、智能交通流生成、自动标注系统等多个挑战。具体而言，如何确保多源数据在时间上的同步、如何在动态天气系统中生成随机车辆和行人、以及如何准确地进行对象类别标注和位置信息定位，都是项目开发中需要解决的关键问题。此外，数据生成速率、传感器布局的定制化以及数据类型的进一步优化也是该项目需要持续改进的方向。

常用场景

经典使用场景

Carla-Simulation-Dataset-Generator数据集是基于CARLA模拟环境开发的高质量路边数据集自动生成器。其经典使用场景在于为自动驾驶感知算法提供训练和验证所需的多视角RGB图像、3D LiDAR点云数据以及标注文件，以支持自动驾驶系统在复杂道路场景中的感知与决策。

衍生相关工作

基于此数据集，衍生出了一系列相关工作，如自动驾驶感知算法的研究与开发、数据增强技术的应用研究，以及自动驾驶模拟环境的构建与优化等，进一步推动了自动驾驶领域的研究与应用。

数据集最近研究

最新研究方向

Carla-Simulation-Dataset-Generator数据集是依据CARLA模拟环境开发的高质量路边数据集自动生成器，其研究方向主要集中在自动驾驶感知算法的训练与验证。该数据集支持多源传感器数据同步采集，包括多角度的RGB图像、3D LiDAR点云数据、标注文件等，兼容KITTI数据集格式。当前研究热点聚焦于利用该数据集进行多传感器数据融合、复杂场景的模拟以及3D对象检测和跟踪等前沿技术，对于提升自动驾驶系统在真实世界环境下的感知能力和鲁棒性具有重要意义。