OmniScene
收藏资源简介：
OmniScene是一个用于深度估计任务的光线级逼真合成数据集，由NVIDIA Isaac Sim渲染生成。该数据集专为训练X-Lens模型而设计，通过一个6相机阵列采集每个场景，包括4个鱼眼相机（提供全向视角）和2个针孔相机（提供前向和后向视角），所有相机分辨率均为1920×1200。每个样本同时包含针孔、鱼眼及异构混合视图，并附带度量级真实深度标签。数据集按场景打包，每个场景为一个.tar文件，包含训练集、验证集和测试集分割。每个场景包含以下内容：RGB图像（8位JPG格式）、深度图（16位PNG格式，需除以256转换为米制深度）、每相机的静态有效镜头掩码、天空掩码（当场景包含天空时）以及每帧的相机参数（包含所有6个视角的内参、外参和完整标定信息）。数据集规模在100B到1T之间，适用于深度估计、多视角视觉、鱼眼图像处理等任务，特别适合研究异构相机系统的深度感知。数据集采用CC BY-NC 4.0许可，仅限非商业研究使用。
OmniScene is a photorealistic synthetic dataset for depth estimation tasks, rendered using NVIDIA Isaac Sim. It is designed for training the X-Lens model, capturing each scene with a 6-camera array consisting of 4 fisheye cameras (providing omnidirectional views) and 2 pinhole cameras (providing forward and backward views), all with a resolution of 1920×1200. Each sample includes pinhole, fisheye, and heterogeneous hybrid views, along with metric-accurate ground truth depth labels. The dataset is packaged by scene, with each scene as a .tar file containing splits for training, validation, and testing. Each scene includes: RGB images (8-bit JPG format), depth maps (16-bit PNG format, requiring division by 256 to convert to metric depth), per-camera static valid lens masks, sky masks (when the scene includes sky), and per-frame camera parameters (including intrinsic, extrinsic, and full calibration information for all 6 views). The dataset size ranges from 100B to 1T, suitable for tasks such as depth estimation, multi-view vision, and fisheye image processing, particularly for research on depth perception in heterogeneous camera systems. It is licensed under CC BY-NC 4.0 for non-commercial research use only.
数据集概览
OmniScene 是一个用于深度估计的合成数据集，专为训练 X-Lens 模型而设计。
- 渲染工具: NVIDIA Isaac Sim
- 采集设备: 6 摄像头阵列（4 个鱼眼 + 2 个针孔）
- 标注: 包含度量真实深度（metric ground-truth depth）
- 分辨率: 1920×1200
- 许可协议: CC BY-NC 4.0（仅限非商业研究用途）
数据规模与划分
- 文件大小: 100B < n < 1T
- 划分: 训练集（
train/）、验证集（valid/）、测试集（test/），每个场景打包为单个.tar文件
文件结构
train/<scene>.tar valid/<scene>.tar test/<scene>.tar texture/ # 共享的鱼眼光线方向查找表（LUT）
每个 .tar 解压后的目录结构为：
<scene>/ ├── rgb/ CAM_/<frame>.jpg # 8-bit RGB 图像 ├── depth/ CAM_/<frame>.png # 16-bit 度量深度图 ├── mask/ CAM_*_mask.png # 每个相机的静态有效镜头遮罩 ├── sky_mask/ _meta.json + 帧级天空遮罩 └── common/ <frame>.npy # 所有6个视角的相机参数
摄像头阵列
| 视角 | 模型 | 说明 |
|---|---|---|
| CAM_A, CAM_B, CAM_C, CAM_D | 鱼眼（全向，Mei / unified-sphere: xi + radtan） | 4 个侧面摄像头 |
| CAM_Front, CAM_Back | 针孔（透视，3×3 内参 K） | 前后摄像头 |
深度解码
- 深度图为 16-bit PNG，真实深度（米）= 像素值 / 256
- 像素值为 0 表示无效区域或天空（需配合
sky_mask使用） - 加载方法：
cv2.imread(path, cv2.IMREAD_UNCHANGED)确保读取16位数据
使用示例
python from huggingface_hub import hf_hub_download import tarfile
下载单个场景
p = hf_hub_download("henryzhou998/OmniScene", "test/<scene>.tar", repo_type="dataset") tarfile.open(p).extractall("omniscene/")
下载整个测试集划分
from huggingface_hub import snapshot_download snapshot_download("henryzhou998/OmniScene", repo_type="dataset", allow_patterns="test/*", local_dir="omniscene_tars")
许可证
- CC BY-NC 4.0（非商业研究使用）
