mirage18k

Mirage 18k是一个新颖的多任务数据集，专为机器人学中的联合玻璃分割和玻璃感知单目深度估计而设计。该数据集包含18,353张手动标注的图像，覆盖38个独特的室内场景。它涵盖了多样化的真实世界玻璃结构，如室内窗格、磨砂门、窗户、透明门，并包含背景杂乱、显著性和动态障碍等挑战性条件。数据通过一个精心设计的协议获取：将每个玻璃窗格建模为3D平面表面，在窗格角落放置临时不透明标记以从局部邻域提取中值深度，并使用静止相机从完全相同的位置拍摄两次场景（一次带标记以获取准确深度，一次不带标记以获取清晰的RGB图像），最后通过逆深度空间的最小二乘优化完成重建。数据集按时间戳序列文件夹组织，包含RGB图像、单通道二进制玻璃分割掩码、16位原始传感器深度图像和16位平面地面真实玻璃深度图像。数据集分割严格保证分布外评估：分割训练集包含12,420个样本，分割测试集包含3,527个样本，深度和联合评估集包含2,406个具有配对原始传感器深度和地面真实深度的样本。该数据集适用于图像分割和深度估计任务，并已作为工作“SILICA: Repurposing Diffusion Priors for Joint Glass Segmentation and Depth Estimation”的一部分被IROS 2026接受发表。Mirage 18k is a novel multi-task dataset designed for joint glass segmentation and glass-aware monocular depth estimation in robotics. This dataset contains 18,353 manually annotated images, covering 38 unique indoor scenes. It encompasses diverse real-world glass structures, such as indoor panes, frosted doors, windows, and clear doors, and includes challenging conditions like background clutter, salience, and dynamic obstacles. The data is acquired via a carefully designed protocol: each glass pane is modeled as a 3D planar surface, temporary opaque markers are placed at the corners of the panes to extract median depth from local neighborhoods, the scene is photographed twice from the exact same position using a stationary camera (once with markers to obtain accurate depth, once without markers to acquire clear RGB images), and final reconstruction is completed via least-squares optimization in inverse depth space. The dataset is organized into timestamp-sequenced folders, and contains RGB images, single-channel binary glass segmentation masks, 16-bit raw sensor depth images, and 16-bit planar ground-truth glass depth images. The dataset split strictly ensures out-of-distribution (OOD) evaluation: the segmentation training set contains 12,420 samples, the segmentation test set contains 3,527 samples, and the depth and joint evaluation set contains 2,406 samples with paired raw sensor depth and ground-truth depth. This dataset is applicable to image segmentation and depth estimation tasks, and has been accepted for publication at IROS 2026 as part of the work titled "SILICA: Repurposing Diffusion Priors for Joint Glass Segmentation and Depth Estimation".

原始信息汇总

数据集概述：Mirage 18k

Mirage 18k 是一个面向机器人的多任务数据集，专注于玻璃分割（Glass Segmentation）与玻璃感知的深度估计（Glass-Aware Monocular Depth Estimation）。该数据集已被 IROS 2026 会议接收，相关研究工作为《SILICA: Repurposing Diffusion Priors for Joint Glass Segmentation and Depth Estimation》。

• 规模与内容：包含 18,353 张手动标注图像，覆盖 38 个独特的室内场景，涉及真实的玻璃结构（如室内玻璃窗格、磨砂门、窗户、透明门）以及不含玻璃的负样本，场景中存在严重背景杂乱、显著性和动态障碍物。
• 语言：英文。
• 任务类别：图像分割（image-segmentation）与深度估计（depth-estimation）。
• 标签：玻璃分割、单目深度估计、机器人技术、透明表面感知、3D 映射。

数据采集与标注

采集协议：通过将每块玻璃窗格建模为 3D 平面来获取透明表面的真实深度。在窗格角点放置临时不透明标记，从局部邻域提取中值深度。固定摄像机在相同位姿下两次拍摄场景：一次带标记（获取准确深度），一次不带标记（获取清晰 RGB 图像）。最后通过逆深度空间的最小二乘优化完成重建。

场景分布：数据集覆盖了室内环境中多种透明玻璃结构，包括室内窗格、磨砂门、窗户、透明门及无玻璃的负样本。

数据组织与划分

数据集以时间戳命名的场景文件夹（共 38 个）组织，并在根目录提供拆分定义文本文件：

目录结构示例： text Mirage18k/ ├── seg_train_images.txt ├── seg_train_masks.txt ├── seg_test_images.txt ├── seg_test_masks.txt ├── depth_test_rs_rgb.txt ├── depth_test_binary_mask.txt ├── depth_test_rs_raw_depth_image.txt ├── depth_test_rs_gt_depth_image.txt └── YYYY-MM-DD_HH-MM-SS/ # 时间戳场景文件夹（共38个） ├── rs_images/ # 标准8位RGB图像 (.png) ├── binary_masks/ # 单通道二值玻璃分割掩码 (.png) ├── rs_depth_img/ # 16位原始传感器深度图像 (.png) └── rs_corresponding_gt/ # 16位平面真实玻璃深度 (.png)

数据集划分（确保测试集与训练集场景完全不重叠，实现严格的分布外评估）：

• 分割训练集：12,420 个样本（对应 seg_train_images.txt 和 seg_train_masks.txt）。
• 分割测试集：3,527 个样本（对应 seg_test_images.txt 和 seg_test_masks.txt）。
• 深度与联合评估集：2,406 个样本，包含成对的原始传感器深度和真实深度（对应 depth_test_*.txt 系列文件）。

快速体验

无需下载完整数据集，可通过 GitHub 的 example/ 目录（https://github.com/rtarun1/Silica/tree/main/example）直接获取样本图像、原始深度和相机内参文件进行快速独立推理。

相关资源

• 模型检查点：SILICA 模型卡（https://huggingface.co/rtarun1/silica-v1-0）
• 代码仓库：GitHub（https://github.com/rtarun1/Silica）
• 项目页面：https://silica-mirage.github.io/

搜集汇总

数据集介绍

构建方式

Mirage 18k数据集由18,353张经过人工标注的图像构成，涵盖38个独特的室内场景。其构建通过精密的采集协议实现：将透明玻璃表面建模为三维平面，在玻璃面板角落布置临时不透明标记，从局部邻域中提取中值深度；随后在无标记的相同相机位姿下拍摄清晰RGB图像。最终通过逆深度空间的最小二乘优化完成深度重建，有效解决了透明表面深度感知的难题。

使用方法

数据集以时间戳场景文件夹组织，并提供分割与深度任务的拆分文本文件。用户可依据`seg_train_images.txt`等文件加载对应图像与掩码。对于深度估计，需同步读取原始传感器深度与平面真实深度。快速测试可通过GitHub示例文件夹获取样本图像与相机内参，无需下载完整数据集即可验证模型效果。配套的SILICA模型检查点与代码库便于直接复现与二次开发。

背景与挑战

背景概述

在机器人感知与环境建图领域，透明玻璃表面因其光学特性——透射可见光、反射环境杂波并产生深度传感器失效，长期构成视觉理解的重大挑战。为此，Mirage 18k数据集应运而生，由研究团队于2026年在IROS会议发表的相关工作中提出。该数据集包含18,353张手工标注图像，覆盖38个独特室内场景，聚焦于玻璃分割与玻璃感知的单目深度估计两大核心任务。通过创新的采集协议——利用临时标记物获取玻璃平面真实深度，并配合最小二乘优化进行逆深度校准，数据集为透明表面感知提供了高质量的多模态真值。Mirage 18k的出现填补了现有数据集在复杂室内玻璃结构（如磨砂门、透明窗）及动态遮挡环境下联合感知能力的空白，对推动视觉导航、三维重建与机器人操控等应用领域具有重要影响。

当前挑战

Mirage 18k旨在应对玻璃感知领域的两类核心挑战。其一，透明玻璃表面在图像中常与背景高度混淆，其反射性和透射性导致传统语义分割与深度估计算法失效，模型需同时从RGB与深度信号中分离玻璃区域并恢复其连续表面深度，这在存在动态障碍物和杂乱背景的真实室内场景中尤为困难。其二，构建过程中面临严苛的数据标注难题：玻璃表面缺乏纹理且不反射深度传感器信号，无法直接获取真实深度。研究团队需采用额外物理标记辅助，在保持场景自然性的前提下精准提取玻璃平面参数，并通过两次拍摄（加标记/去标记）保证RGB与真值深度对齐。此外，为确保评估的泛化性，测试集场景与训练集严格无重叠，进一步增加了数据采集与划分的复杂度。

常用场景

经典使用场景

在机器人感知与自主导航领域，透明物体的精确感知始终是一项极具挑战性的任务。Mirage 18k数据集为此提供了强有力的支撑，其最经典的用途在于联合玻璃分割与单目深度估计。研究人员可利用该数据集训练模型，从单张RGB图像中同时识别玻璃区域并估计其深度信息，从而克服传统视觉传感器在透明表面上的感知盲区。凭借其涵盖38种室内场景、包含18353张手工标注图像的大规模多样本库，该数据集特别适用于开发鲁棒性强的多任务学习框架，推动机器人在复杂室内环境中实现更高精度的环境理解与避障决策。

解决学术问题

该数据集精准回应了计算机视觉与机器人学领域中长期存在的两个核心难题：玻璃区域的分割以及透明表面的深度恢复。传统分割数据集对玻璃这类具有高度视觉模糊性的物体标注不力，而现有深度估计方法往往因透明材质的折射与反射特性产生严重误差。Mirage 18k通过构建精确的平面建模与深度真值采集协议，首次提供了大规模、高质量的玻璃分割与深度联合标注数据，为学术界研究透明物体感知中的域偏移、多任务协同优化以及评价指标建立等关键问题奠定了坚实基础。其提出的严格场景级数据划分策略，更促进了跨场景泛化能力的研究，推动了该领域从简单实验室环境向真实复杂场景的跨越。

实际应用

在实际应用层面，Mirage 18k数据集为众多依赖视觉感知的智能系统带来了突破性进展。在家庭服务机器人中，它能帮助机器人准确识别玻璃门窗与透明隔断，避免碰撞事故，提升导航安全性与任务完成率。在工业自动化领域，该数据集可赋能仓储机器人在布满玻璃货架与透明包装的环境中稳健运行。此外，在增强现实与虚拟现实场景中，精确的玻璃深度信息可用于实现更逼真的虚实融合效果，例如在透明屏幕上叠加虚拟物体。智慧城市中的安防监控系统也能借此提升对玻璃幕墙建筑内异常行为的检测精度，展现广阔的应用前景。

数据集最近研究

最新研究方向

在自主导航与精密操控等机器人核心任务中，透明物体的感知始终是一项棘手挑战——其反射与透射特性极易扰乱深度传感器与视觉算法的判断。Mirage 18k数据集的问世为这一困境提供了突破性解决方案，其融合了18353张人工标注图像与38个室内场景中的多样玻璃结构（如磨砂门、透明窗等），专为联合玻璃分割与单目深度估计任务而生。伴随该数据集的SILICA模型创新性地引入扩散先验，在复杂背景、遮挡及动态干扰下实现了高精度透明表面感知，已被IROS 2026收录。这一工作不仅填补了真实世界透明物体多任务数据集的空白，更推动了服务机器人、仓储物流等场景对玻璃类障碍物的感知能力跃升，为迈向更鲁棒的自主系统铺平了道路。