GlassRecon

GlassRecon是由南方科技大学和香港科技大学联合创建的室内RGB-D数据集，专门针对玻璃表面深度估计问题。该数据集包含917张带有玻璃结构的室内场景图像，每张图像均提供RGB信息、原始深度图、玻璃掩码、几何校正后的真实深度及相机内参。数据来源于Matterport3D和RGB-D GSD公开数据集，通过多步骤几何标注流程生成，包括深度点标注、3D平面拟合和射线-平面交会计算。该数据集旨在解决机器人导航中玻璃表面深度感知不准的难题，为深度补全和场景重建提供标准化评测基准。GlassRecon is an indoor RGB-D dataset jointly developed by Southern University of Science and Technology and The Hong Kong University of Science and Technology, specifically tailored for the depth estimation task on glass surfaces. This dataset contains 917 indoor scene images with glass structures, where each image is accompanied by RGB information, raw depth maps, glass masks, geometrically corrected ground-truth depth maps, and camera intrinsic parameters. Sourced from the public datasets Matterport3D and RGB-D GSD, the dataset is generated through a multi-step geometric annotation workflow, including depth point annotation, 3D plane fitting, and ray-plane intersection calculation. This dataset aims to tackle the challenge of inaccurate depth perception of glass surfaces in robotic navigation, and serves as a standardized evaluation benchmark for depth completion and scene reconstruction.

原始信息汇总

GlassRecon数据集概述

数据集简介

GlassRecon是一个包含室内场景中详细标注的玻璃深度图的数据集。

当前状态

数据集及相关代码即将发布。

搜集汇总

数据集介绍

构建方式

在室内机器人导航领域，玻璃表面的透明性与反射性常导致深度传感器测量失效，为此GlassRecon数据集应运而生。该数据集基于Matterport3D与RGB-D GSD两个公开数据集构建，通过几何约束生成玻璃区域的精确深度真值。具体流程包括标注与玻璃共面的可靠深度点，匹配玻璃掩膜，利用三维平面拟合确定玻璃平面参数，最后通过射线-平面交会计算掩膜内每个像素的度量深度，最终生成包含917张室内RGB-D图像的数据集，每张图像均提供原始RGB、传感器深度图、玻璃掩膜、标注深度及相机内参。

特点

GlassRecon数据集的核心特点在于其专注于玻璃表面深度估计的挑战性场景，并提供了基于几何推导的高质量真值。数据集包含917张室内图像，涵盖窗户、玻璃门等多种玻璃实例，并依据传感器深度腐蚀的严重程度划分为“简单”与“困难”两个子集，支持对不同难度场景的细致评估。其真值生成不依赖于人工标注深度，而是利用共面几何假设，通过平面拟合与交会计算得到，确保了度量的准确性与几何一致性，为玻璃表面重建任务提供了可靠的基准。

使用方法

该数据集主要用于评估玻璃表面深度补全与重建方法的性能。研究人员可将其作为基准，测试各类深度估计模型在玻璃区域的表现，特别是在传感器深度严重失真的“困难”子集上验证方法的鲁棒性。使用流程通常包括加载RGB图像、原始深度图及玻璃掩膜，将预测深度与几何真值进行比较，计算绝对相对误差等指标。此外，数据集也可用于训练或微调玻璃感知模型，或集成到SLAM与三维重建管道中，以提升机器人在含玻璃环境中的导航安全性。

背景与挑战

背景概述

在室内机器人导航领域，玻璃表面的透明与反射特性对传统RGB-D深度传感器构成严峻挑战，常导致深度测量失效或背景误判，进而引发碰撞风险。为应对这一核心感知难题，南方科技大学机器人视觉实验室的研究团队于2026年提出了GlassRecon数据集。该数据集包含约一千张室内场景的RGB-D图像，并利用几何约束生成了玻璃区域的精确深度真值，旨在为玻璃表面深度估计与重建提供标准化评测基准。其构建基于Matterport3D与RGB-D GSD等公开数据源，通过创新的平面拟合与光线求交流程标注真值，显著推动了透明物体感知与安全导航研究的发展。

当前挑战

GlassRecon数据集致力于解决机器人视觉中玻璃表面深度估计的特定挑战，其核心在于克服传感器因透明材质产生的深度腐蚀与度量信息缺失问题。在构建过程中，主要挑战源于真值标注的复杂性：由于原始传感器深度在玻璃区域普遍失效，需依赖人工选取共面可靠点，并通过三维平面拟合与光线求交来推算几何真值，这一过程对平面假设的依赖与人工校验提出了较高要求。此外，数据集中按传感器误差程度划分的‘易/难’子集，旨在评估方法在严重深度破坏下的鲁棒性，这也反映了现实场景中玻璃面积占比与测量错误多样性所带来的泛化挑战。

常用场景

经典使用场景

在机器人导航领域，玻璃表面常导致深度传感器测量失效，GlassRecon数据集通过提供带有几何真值的RGB-D图像，成为评估玻璃表面深度补全与重建方法的基准工具。该数据集包含约一千张室内场景图像，涵盖窗户、玻璃门等多种玻璃结构，并依据传感器深度污染程度划分为“简单”与“困难”子集，使研究者能够系统测试算法在复杂透明环境下的鲁棒性。

解决学术问题

GlassRecon数据集主要解决了室内场景中玻璃表面深度估计的学术难题。传统RGB-D传感器因透明性与反射性无法准确捕捉玻璃几何信息，而现有基于激光雷达或多模态融合的方法受限于硬件成本与环境条件。该数据集通过几何约束生成真值深度，为无监督或训练自由的深度对齐方法提供了可靠评估标准，推动了无需玻璃专用数据或额外传感器的通用解决方案发展。

衍生相关工作

围绕GlassRecon数据集，衍生了一系列专注于玻璃感知的经典研究工作。例如，结合Depth Anything V3等基础模型的深度先验，通过局部RANSAC对齐实现无训练深度补全；同时，该数据集也促进了与RGB-D GSD、GW-Depth等现有玻璃数据集的对比与融合研究。这些工作不仅推动了单目深度估计与传感器融合技术的进步，还为透明物体重建领域提供了新的评估范式与算法框架。