TransCG

TransCG是由上海交通大学创建的大型真实世界数据集，专注于透明物体深度补全，包含57,715张RGB-D图像，来自130个不同场景。该数据集首次提供了多样化和杂乱场景中的真实深度、表面法线和透明掩码。创建过程采用半自动管道加速数据收集和标注，显著减少了人工标注的工作量。TransCG的应用领域主要集中在机器人抓取和操作中，旨在解决透明物体深度信息不准确的问题，提高自动化生产线的效率和可靠性。

TransCG is a large-scale real-world dataset created by Shanghai Jiao Tong University, focusing on transparent object depth completion. It contains 57,715 RGB-D images sourced from 130 distinct scenes. This dataset is the first to provide real depth data, surface normals and transparent masks in diverse and cluttered real-world scenarios. A semi-automatic pipeline was adopted during its development to accelerate data collection and annotation, which significantly reduces the workload of manual annotation. The main application areas of TransCG are robotic grasping and manipulation, aiming to solve the problem of inaccurate depth information of transparent objects and improve the efficiency and reliability of automated production lines.

搜集汇总

数据集介绍

构建方式

在机器人视觉领域，透明物体的深度感知一直是一项具有挑战性的任务，因为传统深度传感器常因光线反射与折射而产生噪声。TransCG数据集的构建采用了一种创新的半自动化流程，旨在高效获取大规模真实世界数据。研究团队首先为透明物体附着带有红外标记的固定器，并利用光学追踪系统实时捕获物体的六维位姿。通过三维扫描获取物体的网格模型后，将追踪系统安装在机械臂上，沿预设轨迹从多个视角自动采集RGB-D图像。借助预先校准的相机外参与位姿数据，系统能够自动渲染出高精度的地面真实深度图、透明物体掩码及表面法线，从而显著减少了人工标注的工作量，最终构建了包含57,715张图像的大规模数据集。

特点

TransCG数据集在透明物体深度补全领域展现出多方面的显著特点。其规模宏大，涵盖130个不同场景，包含51类透明或半透明物体以及约200个不透明物体，提供了丰富的真实世界多样性。数据集中不仅包含孤立的简单场景，还特别设计了65个复杂杂乱场景，更贴近实际机器人操作环境。与以往合成数据集相比，TransCG全部基于真实传感器采集，包含了原始深度信息与精细化地面真实深度，有效弥合了仿真与现实之间的差距。此外，数据集还提供了物体网格模型、表面法线及透明掩码等多模态标注，为深度补全与抓取任务提供了全面支持。跨领域实验表明，该数据集具有较强的泛化能力，能够提升模型在新环境中的适应性。

使用方法

TransCG数据集主要用于训练和评估透明物体深度补全模型，进而支持机器人抓取等下游任务。研究人员可将数据集中的RGB图像与原始深度图作为模型输入，以精细化地面真实深度为监督信号，训练端到端的深度补全网络。该数据集已用于训练如DFNet等高效网络，这些网络能够修复深度图中的噪声与缺失区域，输出高质量的完整深度图。完成深度补全后，生成的深度信息可转换为点云，并输入至现有的六自由度抓取姿态检测网络（如GraspNet-baseline），从而实现对透明物体的稳健抓取。数据集的公开提供了完整的训练集与测试集划分，便于进行模型性能的定量比较与跨领域泛化能力验证。

背景与挑战

背景概述

在机器人视觉与抓取领域，透明物体的感知一直是一项极具挑战性的任务。由于透明材质对光的反射与折射特性，传统深度传感器难以获取其精确的几何信息，导致依赖深度图像的抓取算法普遍失效。为应对这一难题，上海交通大学的研究团队于2022年推出了TransCG数据集，这是首个面向透明物体深度补全的大规模真实世界数据集。该数据集涵盖了57,715幅RGB-D图像，包含51种透明物体与约200种不透明物体在130个多样化场景中的采集数据，并提供了精确的地面真实深度、表面法线与透明掩码。TransCG的创立显著弥合了合成数据与真实应用之间的鸿沟，为基于学习的透明物体深度补全与机器人抓取研究奠定了关键的数据基础，推动了相关领域向实际应用场景的深化发展。

当前挑战

TransCG数据集致力于解决透明物体深度补全这一核心领域问题，其挑战主要源于透明物体独特的光学特性。普通深度传感器因光线在透明表面的反射与折射，无法生成完整且准确的深度图像，这导致传统深度补全方法在透明物体上性能严重受限。在数据集构建过程中，研究团队面临了真实世界数据标注的艰巨挑战。由于透明物体缺乏明确的视觉纹理，获取其精确的地面真实深度信息极为困难。为此，团队创新性地设计了一套半自动数据采集与标注流程，通过结合光学追踪与三维扫描技术，在尽量减少人工干预的前提下，高效生成了大规模高质量的真实世界标注数据，从而克服了传统方法在规模与真实性上的瓶颈。

常用场景

经典使用场景

在机器人视觉与抓取领域，透明物体的深度感知一直是一项极具挑战性的任务。TransCG数据集通过提供大规模的真实世界RGB-D图像及其精确的深度真值，为深度补全算法的训练与评估奠定了坚实基础。该数据集最经典的使用场景是作为基准测试平台，用于开发和验证能够处理透明、半透明及高反光物体的深度补全模型。研究人员利用其丰富的场景多样性，在包含孤立物体和复杂堆叠物体的环境中，系统性地评估模型在恢复因光线折射、反射而失真的深度信息方面的性能。

解决学术问题

TransCG数据集有效解决了透明物体深度感知领域长期存在的合成数据与真实数据之间的鸿沟问题。先前研究多依赖仿真数据集，导致模型在真实场景中泛化能力不足。该数据集提供了超过五万张真实采集的样本，涵盖了多样化的物体与背景，使得基于深度学习的方法能够学习到更鲁棒的特征表示。其意义在于推动了从依赖特殊硬件（如偏振相机）向通用RGB-D相机解决方案的范式转变，为机器人抓取等下游任务提供了可靠的深度信息预处理支撑，显著提升了学术研究的实用性与可复现性。

衍生相关工作

TransCG数据集的发布催生并支撑了一系列围绕透明物体感知的衍生研究工作。其提供的真实世界基准使得后续研究能够进行更公平的跨域性能比较，推动了如TranspareNet等结合点云补全与深度补全的混合方法发展。同时，数据集构建中采用的半自动标注流程——结合光学追踪与机器人采集——为其他难以标注的视觉任务（如透明物体姿态估计）的数据集构建提供了重要技术参考。在算法层面，基于TransCG的评估促进了轻量化、高效率网络结构的设计，以满足机器人实时操作的需求，并启发了将深度补全作为通用预处理模块集成到更广泛的机器人操作流水线中。