VOID Dataset
收藏资源简介：
VOID数据集是为实际应用场景中的深度完成任务而提出的，通过从VIO系统（XIVO）在度量空间中引导稀疏重建来实现。该数据集使用Intel RealSense D435i相机收集，配置为产生同步的加速度计和陀螺仪测量值，以及同步的VGA尺寸RGB和深度流。数据集包含56个序列，包括室内和室外具有挑战性运动的场景。
The VOID dataset is proposed for depth completion tasks in practical application scenarios, achieved by guiding sparse reconstruction in metric space through a VIO system (XIVO). This dataset is collected using an Intel RealSense D435i camera, configured to produce synchronized accelerometer and gyroscope measurements, as well as synchronized VGA-sized RGB and depth streams. The dataset comprises 56 sequences, including indoor and outdoor scenes with challenging motions.
VOID Dataset 概述
数据集描述
VOID（Visual Odometry with Inertial and Depth）数据集是一个专为视觉惯性里程计中的无监督深度完成任务设计的数据集。该数据集由Alex Wong、Xiaohan Fei和Stephanie Tsuei创建，旨在通过从VIO系统在度量空间中启动的稀疏重建来实现深度完成的实际用例。
数据收集
VOID数据集使用Intel RealSense D435i相机收集，该相机配置为以400 Hz同步产生加速度计和陀螺仪测量，以及以30 Hz同步的VGA尺寸（640 x 480）RGB和深度流。深度帧通过主动立体声获取，并使用传感器工厂校准与RGB帧对齐。所有测量均带有时间戳。
数据集内容
- 序列数量：共56个序列，包括室内和室外场景，具有挑战性的运动。
- 场景类型：包括教室、办公室、楼梯间、实验室和花园等。
- 训练与测试集：48个序列（约47K帧）用于训练，8个序列用于测试，从中抽样800帧构建测试集。
- 稀疏深度图：每个序列包含三个密度级别的稀疏深度图，分别为1500、500和150点，对应于VGA尺寸的0.5%、0.15%和0.05%。
数据集结构
-
发布版本结构：
void_release |---- <density> |---- data |---- <sequence> |---- image |---- <timestamp>.png |---- ... |---- sparse_depth |---- <timestamp>.png |---- ... |---- validity_map |---- <timestamp>.png |---- ... |---- ground_truth |---- <timestamp>.png |---- ... |---- absolute_pose |---- <timestamp>.txt |---- ... |---- K.txt |---- ...
密度包括150、500和1500点，对应于目录void_150、void_500、void_1500。
-
原始数据集结构（rosbags）：
void_raw |---- <sequence> |---- dataset |---- dataset_500 |---- dataset_1500 |---- raw.bag |---- ...
文件前缀为dataset的是XIVO的输出。
数据集使用
使用VOID数据集时，请引用以下论文：
@article{wong2020unsupervised, title={Unsupervised Depth Completion From Visual Inertial Odometry}, author={Wong, Alex and Fei, Xiaohan and Tsuei, Stephanie and Soatto, Stefano}, journal={IEEE Robotics and Automation Letters}, volume={5}, number={2}, pages={1899--1906}, year={2020}, publisher={IEEE} }
相关项目
- KBNet：一种快速（15 ms/帧）且准确的无监督稀疏到密集深度完成方法，引入了校准的反投影层，以提高跨传感器平台的泛化能力。
- ScaffNet：一种无监督的稀疏到密集深度完成方法，首先从合成数据中学习从稀疏几何到初始密集拓扑的地图，并通过验证图像来修正初始估计。
- AdaFrame：一种学习无监督稀疏到密集深度完成的自适应框架，根据模型在数据上的性能平衡数据保真度和正则化目标。
- VOICED：一种无监督的稀疏到密集深度完成方法，开发了作者的Scaffolding深度完成和轻量级网络来细化它。
- XIVO：UCLA Vision Lab开发的视觉惯性里程计系统。VOID数据集也利用XIVO来获取稀疏点和相机姿态。
许可证和免责声明
该软件为UC Regents所有，仅供研究目的免费提供。它没有任何明示或暗示的保证，请参阅条款和条件。如需商业使用，请联系UCLA TDG。
