VOID Dataset

VOID数据集是为实际应用场景中的深度完成任务而提出的，通过从VIO系统（XIVO）在度量空间中引导稀疏重建来实现。该数据集使用Intel RealSense D435i相机收集，配置为产生同步的加速度计和陀螺仪测量值，以及同步的VGA尺寸RGB和深度流。数据集包含56个序列，包括室内和室外具有挑战性运动的场景。

The VOID dataset is proposed for depth completion tasks in practical application scenarios, achieved by guiding sparse reconstruction in metric space through a VIO system (XIVO). This dataset is collected using an Intel RealSense D435i camera, configured to produce synchronized accelerometer and gyroscope measurements, as well as synchronized VGA-sized RGB and depth streams. The dataset comprises 56 sequences, including indoor and outdoor scenes with challenging motions.

原始信息汇总

VOID Dataset 概述

数据集描述

VOID（Visual Odometry with Inertial and Depth）数据集是一个专为视觉惯性里程计中的无监督深度完成任务设计的数据集。该数据集由Alex Wong、Xiaohan Fei和Stephanie Tsuei创建，旨在通过从VIO系统在度量空间中启动的稀疏重建来实现深度完成的实际用例。

数据收集

VOID数据集使用Intel RealSense D435i相机收集，该相机配置为以400 Hz同步产生加速度计和陀螺仪测量，以及以30 Hz同步的VGA尺寸（640 x 480）RGB和深度流。深度帧通过主动立体声获取，并使用传感器工厂校准与RGB帧对齐。所有测量均带有时间戳。

数据集内容

• 序列数量：共56个序列，包括室内和室外场景，具有挑战性的运动。
• 场景类型：包括教室、办公室、楼梯间、实验室和花园等。
• 训练与测试集：48个序列（约47K帧）用于训练，8个序列用于测试，从中抽样800帧构建测试集。
• 稀疏深度图：每个序列包含三个密度级别的稀疏深度图，分别为1500、500和150点，对应于VGA尺寸的0.5%、0.15%和0.05%。

数据集结构

• 发布版本结构：

  void_release |---- <density> |---- data |---- <sequence> |---- image |---- <timestamp>.png |---- ... |---- sparse_depth |---- <timestamp>.png |---- ... |---- validity_map |---- <timestamp>.png |---- ... |---- ground_truth |---- <timestamp>.png |---- ... |---- absolute_pose |---- <timestamp>.txt |---- ... |---- K.txt |---- ...

  密度包括150、500和1500点，对应于目录void_150、void_500、void_1500。

• 原始数据集结构（rosbags）：

  void_raw |---- <sequence> |---- dataset |---- dataset_500 |---- dataset_1500 |---- raw.bag |---- ...

  文件前缀为dataset的是XIVO的输出。

数据集使用

使用VOID数据集时，请引用以下论文：

@article{wong2020unsupervised, title={Unsupervised Depth Completion From Visual Inertial Odometry}, author={Wong, Alex and Fei, Xiaohan and Tsuei, Stephanie and Soatto, Stefano}, journal={IEEE Robotics and Automation Letters}, volume={5}, number={2}, pages={1899--1906}, year={2020}, publisher={IEEE} }

相关项目

• KBNet：一种快速（15 ms/帧）且准确的无监督稀疏到密集深度完成方法，引入了校准的反投影层，以提高跨传感器平台的泛化能力。
• ScaffNet：一种无监督的稀疏到密集深度完成方法，首先从合成数据中学习从稀疏几何到初始密集拓扑的地图，并通过验证图像来修正初始估计。
• AdaFrame：一种学习无监督稀疏到密集深度完成的自适应框架，根据模型在数据上的性能平衡数据保真度和正则化目标。
• VOICED：一种无监督的稀疏到密集深度完成方法，开发了作者的Scaffolding深度完成和轻量级网络来细化它。
• XIVO：UCLA Vision Lab开发的视觉惯性里程计系统。VOID数据集也利用XIVO来获取稀疏点和相机姿态。

许可证和免责声明

该软件为UC Regents所有，仅供研究目的免费提供。它没有任何明示或暗示的保证，请参阅条款和条件。如需商业使用，请联系UCLA TDG。

搜集汇总

数据集介绍

构建方式

VOID数据集通过结合视觉惯性里程计（VIO）系统和Intel RealSense D435i摄像机进行构建。该摄像机配置为以400 Hz的频率同步采集加速度计和陀螺仪数据，并以30 Hz的频率同步采集VGA尺寸（640 x 480）的RGB和深度流。深度帧通过主动立体技术获取，并与RGB帧通过传感器工厂校准对齐。所有测量数据均带有时间戳。数据集包含56个序列，涵盖室内外复杂运动场景，如教室、办公室、楼梯间、实验室和花园。训练集包含48个序列，约47K帧，测试集包含8个序列，从中抽取800帧构成测试集。每个序列提供三种不同密度的稀疏深度图，分别为1500、500和150点，对应于VGA尺寸的0.5%、0.15%和0.05%。

特点

VOID数据集的主要特点在于其结合了视觉惯性里程计和深度信息，提供了高频率的惯性测量和低频率的RGB及深度流同步数据。数据集包含多种场景，涵盖了从室内到室外的复杂环境，适合于深度补全任务的研究。此外，数据集提供了三种不同密度的稀疏深度图，允许研究者在不同稀疏度下进行实验，增强了数据集的多样性和实用性。

使用方法

使用VOID数据集时，用户可以通过下载发布的版本或原始的rosbag文件进行数据获取。数据集结构清晰，包含图像、稀疏深度图、有效性图、地面真实值和绝对姿态等信息。用户可以通过Python脚本加载和处理数据，如加载深度和有效性图路径、读取内参或姿态等。此外，数据集提供了详细的校准信息，用户可以通过JSON文件读取校准参数。为了便于使用，数据集还提供了虚拟环境设置和ROS安装指南，确保用户能够顺利进行数据处理和实验。

背景与挑战

背景概述

VOID数据集，全称为Visual Odometry with Inertial and Depth，由Alex Wong、Xiaohan Fei和Stephanie Tsuei等人于2020年提出，旨在解决视觉惯性里程计（VIO）中的深度补全问题。该数据集基于无监督深度补全技术，通过结合稀疏重建和深度信息，提供了在真实世界场景中的深度补全应用。VOID数据集的创建不仅推动了深度补全技术的发展，还为相关领域的研究提供了丰富的实验数据，特别是在室内外复杂环境中的应用。

当前挑战

VOID数据集在构建过程中面临多项挑战。首先，数据集的采集涉及复杂的传感器同步问题，尤其是高频的加速度计和陀螺仪数据与低频的RGB和深度流数据的同步。其次，数据集中的稀疏深度图在不同密度下的处理，要求算法能够有效处理不同稀疏度的深度信息。此外，数据集涵盖的场景多样，包括教室、办公室、楼梯间等，这对算法的泛化能力提出了较高要求。最后，数据集的标注和验证过程也面临挑战，确保稀疏深度图与真实深度图的对齐和准确性。

常用场景

经典使用场景

VOID数据集在视觉惯性里程计（VIO）领域中，主要用于无监督深度补全任务。该数据集通过结合VIO系统生成的稀疏深度图和RGB图像，提供了丰富的室内外场景数据，包括教室、办公室、楼梯间等。研究者可以利用这些数据进行深度补全算法的研究与开发，特别是在稀疏深度图到稠密深度图的转换过程中，探索如何提高算法的精度和鲁棒性。

实际应用

VOID数据集在实际应用中具有广泛的前景，特别是在自动驾驶、机器人导航和增强现实等领域。通过利用VOID数据集训练的深度补全算法，可以有效提升这些系统在复杂环境中的感知能力，帮助车辆或机器人更好地理解周围环境，从而实现更安全、更智能的导航和交互。此外，该数据集还可用于开发更高效的3D重建和场景理解算法。

衍生相关工作

VOID数据集的发布催生了一系列相关研究工作，包括无监督深度补全算法的研究和改进。例如，KBNet通过引入校准的反投影层，显著提升了深度补全的精度和泛化能力；ScaffNet则通过从合成数据中学习稀疏几何到稠密拓扑的映射，进一步优化了深度补全的效果。这些工作不仅在学术界引起了广泛关注，也为实际应用提供了强有力的技术支持。