garrying/GSD

GSD是一个用于野外玻璃表面检测的大规模基准数据集。该数据集包含三个部分：train（2710张图像，带有完整的注释，包括掩码、反射和边缘），extra（579张额外图像，带有掩码和边缘注释，但没有反射），test（813张图像，带有掩码注释，用于评估）。数据集结构包括图像ID、图像、掩码、反射和边缘等字段。

GSD is a large-scale benchmark for glass surface detection in the wild. The dataset contains three splits: train (2,710 images with full annotations including mask, reflection, and edge), extra (579 additional images with mask and edge annotations but no reflections), and test (813 images with mask annotations for evaluation). The dataset structure includes fields such as image_id, image, mask, reflections, and edge.

搜集汇总

数据集介绍

构建方式

玻璃表面检测（Glass Surface Detection, GSD）数据集源自CVPR 2021发表的同名研究工作，旨在为复杂场景下的玻璃表面分割任务提供大规模基准。该数据集精心划分为三个子集：训练集包含2,710幅图像，每幅均配有完整的二值掩码、反射图像及边缘标注；扩充集提供579幅图像，仅含掩码与边缘标注；测试集包含813幅图像，仅提供掩码用于性能评估。如此分层设计兼顾了模型训练对丰富标注的需求与评估阶段的公正性。

特点

GSD数据集的核心特色在于其多模态标注体系，不仅提供常规的玻璃区域分割掩码，还创新性地引入了反射图像与边缘信息。反射先验能够有效帮助模型区分玻璃与透明背景，而边缘标注则强化了对玻璃边界的精细定位能力。此外，训练集与扩充集的标注差异设计允许研究者探索不同监督信号对模型性能的影响，测试集则专注于评估最终的玻璃分割效果。

使用方法

可通过HuggingFace Datasets库便捷加载：使用`load_dataset('garrying/GSD')`即可获取数据集，返回的每个样本包含图像ID、RGB图像、掩码、反射图及边缘图。对于需要恢复原始文件结构的场景，配套提供的`parquet_to_raw.py`脚本可将数据转换为PNG格式的文件夹组织。同时，该数据集的配套模型仓库提供了预训练的GlassNet模型，支持直接进行推理与微调实验。

背景与挑战

背景概述

玻璃表面检测是计算机视觉领域的一项基础而艰巨的任务，旨在从自然场景中精准定位并分割出透明或反光玻璃区域。由于玻璃缺乏固定的纹理与颜色特征，且常与背景融为一体，传统语义分割方法在此任务上表现乏力。为此，Jiaying Lin、Zebang He与Rynson W.H. Lau于2021年在CVPR上提出了玻璃表面检测基准数据集GSD（Glass Surface Detection）。该数据集由香港城市大学团队构建，包含2,710张训练图像及相应的掩码、反射与边缘标注，并额外提供579张仅含掩码与边缘的扩充图像以及813张测试图像，旨在系统推动玻璃表面检测的模型设计与评估。GSD数据集作为该领域的首个大规模基准，显著促进了反射先验与上下文聚合机制的研究，成为玻璃表面检测任务的关键评估标准。

当前挑战

玻璃表面检测的核心挑战在于其透明性与强反射特性，使玻璃区域在视觉上近似于背景或周围物体，导致传统分割算法难以有效区分。GSD数据集在构建过程中面临的挑战主要包括：一是收集包含多样化玻璃形态（如窗户、镜子、玻璃门）的野外场景图像，并确保标注的精确性，尤其在玻璃边缘与反射干扰区域标注难度极高；二是如何统一处理不同光照与拍摄角度下反射噪声对掩码标注的干扰。此外，数据集目前训练图像规模有限且未提供反射标注于验证集，限制了模型对反射先验的泛化与消融研究，未来需进一步扩展数据的场景多样性与标注维度，以应对真实应用中玻璃检测的复杂性。

常用场景

经典使用场景

在计算机视觉领域，玻璃表面的准确检测长期是一项极具挑战性的任务，因其透明、反光等特性常导致传统分割模型失效。GSD数据集作为首个大规模野外玻璃表面检测基准，提供了超过4000张涵盖丰富场景的高分辨率图像，并配有精确的逐像素掩码、反射图像及边缘标注。研究者可基于该数据集训练端到端的语义分割模型，实现对图像中玻璃区域的精准定位与边界勾勒。该数据集最经典的使用场景是作为玻璃检测任务的标准化训练与评估平台，推动透明物体分割技术从实验室走向真实复杂环境。

实际应用

在实际工业与生活场景中，GSD数据集驱动的检测技术展现出广阔的应用价值。在自动驾驶领域，准确识别车窗、橱窗等玻璃表面可有效避免碰撞事故并优化路径规划；在建筑巡检中，玻璃幕墙的自动化检测能够提升维护效率与安全性。此外，该技术还可赋能商业场景下的智能零售系统，帮助机器人精准抓取玻璃容器，或用于增强现实应用中对透明物体的准确渲染与交互。随着模型鲁棒性的不断提升，基于GSD数据集的玻璃检测算法正逐步成为智能视觉系统中不可或缺的基础能力模块。

衍生相关工作

围绕GSD数据集，学术界涌现了一系列具有代表性的衍生工作。CVPR 2021提出的GlassNet模型率先采用密集对比模块与反射先验融合策略，通过轻量级编解码器RefNet同步预测玻璃掩码与反射图像，成为该领域的经典基线。后续研究在此基础上拓展出多尺度上下文注意力机制、动态卷积适配器等改进方案，并衍生出针对透明物体实例分割、边缘细化等子任务的新方法。此外，GSD的数据构建思路与标注规范被广泛借鉴至其他透明物体数据集（如透光塑料检测、水面分割）的设计中，催生了跨材质透明感知的系列化研究进展。