51WORLD/DataOne-synthetic-v1.0-sample

51WORLD合成数据集主要包含由51Sim-One生成的相机传感器数据和LiDAR传感器数据。相机数据包括图像及其对应的语义分割、实例分割、深度标注和物体检测标注；LiDAR数据包括激光点云及其3D边界框标注、语义分割标注和实例分割标注。数据集内容丰富，适用于图像物体检测、点云物体检测、融合物体检测、光流、实例分割、语义分割和深度预测等算法研究。

原始信息汇总

51WORLD Synthetic Dataset Usage Documentation

1 简介

51WORLD合成数据集主要包含相机传感器相关数据和LiDAR传感器相关数据，由51Sim-One生成。相机传感器相关数据主要包括图像及其对应的语义分割、实例分割、深度标注和目标检测标注；LiDAR传感器相关数据主要包括激光点云和3Dbboxes标注、语义分割标注和实例分割标注。该数据集丰富全面，能够满足用户在图像目标检测、点云目标检测、融合目标检测、光流、实例分割、语义分割和深度预测等算法研究的需求。

2 数据集坐标系统定义

所有坐标系统均为右手笛卡尔坐标系统，旋转顺序为内旋ZYX（偏航、俯仰、滚转）。主车辆坐标系统、相机与LiDAR坐标系统和世界坐标系统的X轴朝前，Y轴朝左，Z轴朝上。

主车辆坐标系统的原点位于主车辆后轴中心对应的地面上。共有6个相机和1个LiDAR。传感器内参和外参如下：

相机内参

所有相机（camera_front, camera_frontleft, camera_frontright, camera_rear, camera_rearleft, camera_rearright）共享相同的内参参数。相机分辨率为3840*2160，视野（FOV）为90度，所有相机无畸变：

D参数：[0, 0, 0, 0, 0, 0, 0, 0]

K参数： $$ left[ egin{matrix} 1920 & 0 & 1920
0 & 1920 & 1080
0 & 0 & 1.0 end{matrix}

ight] ag{K} $$

相机外参

• camera_front: $$ left[ egin{matrix} -0.003578 & 0.037035 & 0.999307 & 1.860771
  -0.999458 & 0.032562 & -0.004786 & -0.053937
  -0.032717 & -0.998782 & 0.036899 & 1.328725
  0.0 & 0.0 & 0.0 & 1.0
  end{matrix}

ight] ag{R,T} $$

• camera_frontleft: $$ left[ egin{matrix} 0.847501 & -0.022984 & 0.530295 & 0.071625
  -0.53038 & 0.002781 & 0.847757 & 1.033764
  -0.02096 & -0.999732 & 0.036899 & 0.916125
  0.0 & 0.0 & 0.0 & 1.0
  end{matrix}

ight] ag{R,T} $$

• camera_frontright: $$ left[ egin{matrix} -0.82523 & -0.061566 & 0.56143 & 0.088951
  -0.563322 & 0.017928 & -0.826043 & -0.991666
  0.04079 & -0.997941 & -0.049476 & 0.945307
  0.0 & 0.0 & 0.0 & 1.0
  end{matrix}

ight] ag{R,T} $$

• camera_rear: $$ left[ egin{matrix} 0.030056 & -0.017464 & -0.999397 & 0.168006
  0.99952 & -0.00692 & 0.03018 & -0.002108
  -0.007442 & -0.999823 & 0.017247 & 1.469271
  0.0 & 0.0 & 0.0 & 1.0
  end{matrix}

ight] ag{R,T} $$

• camera_rearleft: $$ left[ egin{matrix} 0.818487 & -0.018865 & -0.574215 & 2.030335
  0.574498 & 0.03678 & 0.817679 & 1.019098
  0.005694 & -0.999146 & 0.040942 & 0.837417
  0.0 & 0.0 & 0.0 & 1.0
  end{matrix}

ight] ag{R,T} $$

• camera_rearright: $$ left[ egin{matrix} -0.829199 & -0.063401 & -0.555346 & 2.050433
  0.555582 & 0.015479 & -0.831317 & -1.004084
  0.061303 & -0.997868 & 0.02239 & 0.801163
  0.0 & 0.0 & 0.0 & 1.0
  end{matrix}

ight] ag{R,T} $$

LiDAR内参

扫描原理	机械旋转
通道数	128
探测距离	0.3 ~ 200 m (10% reflectivity)
探测精度	±8 cm (0.3 ~ 0.5 m, each channel)<br>±5 cm (0.5 ~ 1 m, each channel)<br>±2 cm (1 ~ 200 m, average)
水平视野	360°
水平角分辨率	动态可调<br>0.1°/0.2° (10 Hz)<br>0.2°/0.4° (20 Hz)
垂直视野	40° (-25° ~ +15°)
垂直角分辨率	0.125° (通道26 ~ 90)<br>0.5° (通道2 ~ 26, 90 ~ 127)<br>1° (通道1 ~ 2, 127 ~ 128)
扫描帧率	10 Hz, 20 Hz
回波模式	单回波最后、最强、最先<br>双回波最后和最强、最后和最先、最先和最强
波长	905 nm

LiDAR外参

• lidar_top: $$ left[ egin{matrix} 0.00473506 & 0.999592 & 0.027662 & 0.993701
  -0.999965 & 0.00498827 & -0.00912777 & 0.0157033
  -0.00926204 &-0.0276171 & 0.999569 & 1.85107
  0.0 & 0.0 & 0.0 & 1.0
  end{matrix}

ight] ag{R,T} $$

3 数据集参数和标注文件描述

3.1 数据集采集参数描述

在每个虚拟数据集的采集过程中，会保存一组数据集的参数设置在DumpSettings.json中。这包括天气和环境参数、相机内外参数和特征参数、LiDAR的内外参数和采集时间。数据集采集参数描述如下表：

表3-1 DumpSettings参数描述

参数字段	单位	描述
simulator		模拟器名称，本数据集由51Sim-One生成
version		51Sim-One版本号
weather	时间系统为24小时制，如900表示9:00，1450表示14:30。云密度、雨密度、雪密度、雾密度、湿度、脏污和粘附均为0到1的连续值，值越大表示程度越高。	天气参数和时间参数。包括timeOfDay（场景时间）、cloud Density、rainDensity、showDensity、fogDensity、humidity（地面湿度）、dirtiness（地面脏污）、adhesion（地面摩擦）。
camera	pos单位为m；rot单位为rad。	相机的内外参数。POS和ROT分别表示相机相对于主车辆坐标系统的位置和旋转。Height和width表示图像的长和宽。Fov表示相机的水平视野，cx、cy、fx、fy表示相机的校准参数。其他参数如曝光、色调、饱和度等用于模拟相机的特性，如曝光特性、色温特性、饱和度特性等。
lidar	pos单位为m；rot单位为rad；range单位为m；horizontalResolution、leftAngle、rightAngle和verticalAngles单位均为角度。	LiDAR的内外参数信息。pos和rot表示相机相对于主车辆坐标系统的位置和旋转，channels表示LiDAR的线数，horizontalResoluti表示LiDAR的水平分辨率，leftAngle和rightAngle表示感知范围，verticalAngles表示每条射线的出射角度，range表示探测距离。
createTime	机器时间单位	用于记录数据集创建的时间。

3.2 相机目标标注文件描述

相机目标标注文件存储在image_label文件夹中。这些文件保存了相机的姿态信息和目标的2D和3D标注信息。相机目标标注文件描述如下：

表3-2 每帧记录参数信息表

参数字段	单位	描述
pos	m	相机在世界坐标系统中的坐标（x, y, z）
rot	rad	相机在世界坐标系统中的旋转坐标
vel	m/s	相机在世界坐标系统中的速度
localACC	m/s^2	主车辆坐标系统中的IMU加速度信息
localAngVel	rad/s	主车辆坐标系统中的IMU角速度信息
bboxes		所有遮挡率小于阈值的目标的2D边界框集合
bboxesCulled		所有遮挡率大于阈值的目标的2D边界框集合
bboxes3D		所有目标的3D边界框集合

表3-3 bboxes和bboxes Culled单目标参数信息表

参数字段	单位	描述
id		目标ID
type		目标类型
bbox	像素	目标在图像坐标系统中的坐标（左上x和y，右下x和y）
obbox	像素	目标在图像系统中的方向坐标（中心坐标，长度，宽度，方向）
pixelRate	比例，范围0-1	未遮挡像素面积/模型整体BBOX矩形面积
rectRate	比例，范围0-1	未遮挡像素最小包围矩形面积/模型整体BBOX矩形面积

表3-4 bboxes3D单目标参数信息表

参数字段	单位	描述
id		目标ID
type		目标类型
pos	m	目标在世界坐标系统中的坐标
rot	rad	目标在世界坐标系统中的旋转坐标
size	m	目标在世界坐标系统中的长、宽、高
vel	m/s	目标在世界坐标系统中的加速度
localAcc	m/s^2	主车辆坐标系统中的IMU加速度信息
localAngVel	rad/s	主车辆坐标系统中的IMU角速度信息
relativePos	m	目标相对于相机坐标系统的坐标
relativeRot	rad	目标相对于相机坐标系统的旋转坐标

3.3 激光雷达目标标注文件描述

激光雷达目标标注文件存储在pcd_label中，保存了激光雷达的姿态信息和三维标注信息。激光雷达目标标注文件描述如下：

表3-5 每帧记录参数信息表

参数字段	单位	描述
pos	m	LiDAR在世界坐标系统中的坐标（x, y, z）
rot	rad	LiDAR在世界坐标系统中的旋转坐标
vel	m/s	LiDAR在世界坐标系统中的速度
localAcc	m/s^2	主车辆坐标系统中的IMU加速度信息
localAngVel	rad/s	主车辆坐标系统中的IMU角速度信息
bboxes3D		所有目标的3D边界框集合

表3-6 bboxes3D单目标参数信息表

参数字段	单位	描述
id		目标ID
type		目标的语义类型
pos	m	目标在世界坐标系统中的坐标
rot	rad	目标在世界坐标系统中的旋转坐标
size	m	目标在世界坐标系统中的长、宽、高
vel	m/s	目标在世界坐标系统中的加速度
localAcc	m/s^2	主车辆坐标系统中的IMU加速度信息
localAngVel	rad/s	主车辆坐标系统中的IMU角速度信息
relativePos	m	目标相对于LiDAR坐标系统的坐标
relativeRot	rad	目标相对于LiDAR坐标系统的旋转坐标

4 数据集目录结构描述

51WORLD合成数据集包含丰富的数据，能够满足用户在图像目标检测、点云目标检测、融合目标检测、光流、实例分割、语义分割和深度预测等算法研究的需求。数据集的整体目录结构如下：

搜集汇总

背景与挑战

背景概述

51WORLD/DataOne-synthetic-v1.0-sample是一个用于自动驾驶研究的合成数据集，包含相机图像、激光雷达点云及其对应的多种标注信息（如语义分割、实例分割、深度标注等）。数据集支持多种算法研究任务，如图像目标检测、点云目标检测、融合目标检测等。