GlassRecon Dataset

该数据集包含室内场景中详细注释的玻璃深度图，组织结构包括RGB图像、相机内参、玻璃区域二进制掩码、原始传感器深度图、完成的深度图以及评估用的深度图和点云。

This dataset comprises fully annotated glass depth maps for indoor scenes. Its structure includes RGB images, camera intrinsic parameters, binary masks of glass regions, raw sensor depth maps, completed depth maps, as well as depth maps and point clouds for evaluation.

原始信息汇总

数据集概述：GlassRecon

基本信息

• 数据集名称：GlassRecon
• 相关论文：Enhancing Glass Surface Reconstruction via Depth Prior for Robot Navigation
• 下载地址：Google Drive
• 用途：用于机器人导航中的玻璃表面重建，通过深度先验增强重建效果

数据集结构

数据集根目录为 GlassRecon/，包含以下子目录：

目录	内容说明	文件格式
images/	RGB图像	PNG
intrinsics/	相机内参及深度缩放参数	JSON
masks/	玻璃区域的二值掩码	PNG
sensor_depths/	原始传感器深度图	PNG
completed_depths/	补全后的深度图	NPY
evaluation_depths/depths_npy/	过滤后的深度图（无法补全的玻璃区域被掩去）	NPY
evaluation_depths/depths_vis/	可视化结果	PNG
evaluation_depths/pointclouds/	3D点云（从 depths_npy 反投影得到）	PLY

评估方法

使用 eval.py 脚本计算预测深度图与真实深度图之间的指标，包括：

• AbsRel：绝对相对误差
• δ < 1.25：阈值准确率

评估命令示例

bash python eval.py --image-folder IMAGE_PATH --pred-folder PREDICTED_DEPTH_PATH --sensor-depth-folder SENSOR_DEPTH_PATH --gt-depth-folder GT_DEPTH_PATH --depth-scale DEPTH_SCALE --outdir OUTPUT_PATH

若预测深度图为逆深度表示，需添加 --inverse-depth 参数： bash python eval.py ... --inverse-depth

引用信息

若使用本数据集，请引用以下论文： bibtex @article{zheng2026enhancing, title={Enhancing Glass Surface Reconstruction via Depth Prior for Robot Navigation}, author={Zheng, Jiamin and Yu, Jingwen and Chen, Guangcheng and Zhang, Hong}, journal={arXiv preprint arXiv:2604.18336}, year={2026} }

搜集汇总

数据集介绍

构建方式

GlassRecon数据集专为机器人导航中的玻璃表面重建任务而设计，其构建过程兼顾真实场景感知与深度先验融合。数据采集自搭载RGB-D传感器的真实环境，涵盖包含玻璃平面的室内外场景。原始数据包括RGB图像、相机内参及深度缩放因子（以JSON文件存储）、玻璃区域的二值掩膜（PNG格式）、原始传感器深度图以及经补全算法处理后的完整深度图（NPY格式）。评估子集进一步提供滤波深度图、可视化渲染及基于内参反投影的三维点云（PLY格式），为玻璃区域的稠密几何恢复提供了标准化的数据支撑。

特点

该数据集的核心特色在于其针对玻璃表面重建任务的专门化结构。首先，明确的玻璃区域掩膜区分了透明与非透明物体，避免了传统深度传感器对玻璃失效导致的空洞或异常值干扰。其次，数据集同时提供原始传感器深度与补全深度，便于研究者对比深度先验的作用。此外，评估子集对无法完成补全的玻璃区域进行了掩蔽处理，确保度量指标仅计算有效部分，提升了评价的准确性与公平性。多模态数据（RGB、深度、点云）的联合提供，为跨模态学习与三维重建研究奠定了坚实基础。

使用方法

使用该数据集时，研究者可将预测深度图与真实深度进行对比评估。推荐运行官方提供的eval.py脚本，通过设定图像路径、预测深度路径、传感器深度路径和真值深度路径等参数，自动计算AbsRel与δ<1.25等标准度量指标。若预测深度为逆深度表示，需添加--inverse-depth标志。数据集的目录结构清晰，各子文件夹按功能划分，便于直接加载相应模态的数据文件。在此基础上，研究者可自行设计深度补全网络，或以RGB图像与原始传感器深度作为输入，以补全深度为监督信号，训练适用于玻璃场景的深度估计模型。

背景与挑战

背景概述

玻璃作为一种高度反光且近乎透明的材料，在三维场景感知与重构中构成了极具挑战性的问题。传统深度传感器在遇到玻璃表面时，常常因光线折射与穿透而难以获取准确的距离信息，进而导致机器人导航系统在复杂室内环境中出现感知盲区。由Jiamin Zheng、Jingwen Yu等研究者于2026年提出的GlassRecon数据集，旨在为玻璃表面重建这一长期困扰机器人视觉领域的问题提供系统性的基准。该数据集包含了从真实场景中采集的RGB图像、原始传感器深度图、玻璃区域掩膜以及经后处理补全的深度图，为融合深度先验以提升玻璃表面重构精度提供了宝贵的数据支撑。GlassRecon的问世，弥补了现有数据集在玻璃表面标注与深度真值方面的缺失，推动了面向透明物体感知的机器人导航研究迈入新阶段。

当前挑战

GlassRecon数据集所面对的领域问题核心在于玻璃表面在传统深度传感器中的不稳定响应，其导致的重建误差严重制约了机器人在玻璃密集环境中的自主导航能力。具体挑战体现在三个层面：其一，玻璃物体特性复杂，同一玻璃表面在不同视角与光照条件下可能呈现截然不同的反射与穿透特征，使得语义分割与深度估计难以一概而论。其二，在数据构建过程中，获取高精度的玻璃区域深度真值本身即是一项艰巨任务，研究者需依赖多传感器融合或先验信息进行补全，但补全过程本身会引入误差，其可靠性与泛化性难以保证。其三，现有评估指标多针对漫反射物体设计，仅以AbsRel和δ<1.25等宏观度量难以全面刻画玻璃表面重建中存在的局部门窗形变、反射伪影等特殊误差模式，给模型改进带来盲区。

常用场景

经典使用场景

玻璃作为日常生活中广泛存在的透明材质，其高反射与低纹理特性常导致深度传感器产生空洞或错误估计，给机器人自主导航中的环境感知带来严峻挑战。GlassRecon Dataset专为玻璃表面精细化重建而设计，其核心场景在于利用RGB图像、原始传感器深度图及玻璃区域掩码，结合相机内参，训练和评估能够补全玻璃区域缺失深度信息的深度学习模型。该数据集提供了完成的深度图（completed_depths）和过滤后的评估深度图（evaluation_depths），允许研究者在真实复杂场景下验证深度补全与三维重建算法的鲁棒性，是推动透明物体感知技术发展的关键基准。

解决学术问题

在计算机视觉与机器人学交叉领域，透明物体深度估计长期悬而未决，传统方法难以区分玻璃表面与背景，导致建图失败。GlassRecon Dataset通过提供包含精准玻璃掩码、原始传感器深度及完成深度图的配对数据，系统解决了透明物体深度先验获取困难的问题，使得研究者能够量化评估深度补全算法在绝对相对误差（AbsRel）和阈值精度（δ<1.25）上的表现。该数据集的诞生填补了玻璃表面重建专用基准的空白，为后续研究提供了标准化评估平台，显著推动了透明物体感知从定性分析走向定量评价的学术进程。

衍生相关工作

GlassRecon Dataset的发布催生了一系列围绕透明表面深度补全的经典工作，例如利用显式几何约束与隐式神经表示相结合的玻璃表面重建方法，以及基于扩散模型的玻璃区域深度生成策略。研究者们还借鉴该数据集的结构设计，拓展了针对其他透明材质（如水、塑料）的多模态深度补全框架，并推动了玻璃掩码联合预测与深度优化一体化网络的演变。此外，基于该数据集构建的评估协议被广泛应用于对比不同深度先验形式的有效性，成为透明物体感知领域不可或缺的benchmark资源。