NaturalRefractiveCorrespondence

NaturalRefractiveCorrespondence是一个大规模合成数据集，专为估计透明物体与自然背景之间的折射对应关系而设计。该数据集使用Mitsuba和自定义光线追踪器生成，包含81,651个训练样本和200个验证样本。每个样本由物体几何、环境光照和相机配置的独特组合构成，并包含多种文件类型，如RGB图像、背景图像、折射对应关系等。数据集总大小约为250GB，采用分片存储结构。

原始信息汇总

Natural Refractive Correspondence 数据集概述

数据集简介

NaturalRefractiveCorrespondence 是一个用于估计透明物体与自然背景之间折射对应关系的大规模合成数据集。该数据集使用 Mitsuba 和自定义光线追踪器生成，旨在支持论文《RCTrans: Transparent Object Reconstruction in Natural Scene via Refractive Correspondence Estimation》（SIGGRAPH Asia 2025）的研究。

数据构成

每个数据样本对应一个独特的组合，包括物体几何、环境光照和相机配置。样本命名格式为 "MeshName_EnvmapName_CamNum"，作为所有文件的前缀。

每个样本目录包含以下文件：

• {name}_image.png：包含折射物体的渲染RGB图像。
• {name}_background.png：不包含物体的背景渲染图像。
• {name}_correspondence.flo：通过光线追踪导出的折射对应关系数据。
• {name}_obj_mask.png：物体掩码。
• {name}_valid_mask.png：指示发生两次折射且无全反射区域的掩码。
• {name}_corres_map.png：对应关系的可视化图像。
• {name}_refract.png：使用对应关系重建的折射外观图像。
• {name}_residual.png：image.png 与 refract.png 之间的差异图像。

其中，corres_map.png、refract.png 和 residual.png 文件用于展示结果，未在网络的训练和测试中使用，但为完整性和支持未来研究而提供。

数据集结构

数据集被划分为 81,651 个样本的“训练集”和 200 个样本的“验证集”。划分是固定的，与论文实验所用一致。解压后数据集大小约为 250GB。

数据集采用分片打包方式组织，以支持高效存储和下载：

NaturalRefractiveCorrespondence/ ├── README.md ├── train_file.txt # 所有训练样本的名称列表 ├── val_file.txt # 所有验证样本的名称列表 ├── basicshape_val_file.txt # 使用BasicShape渲染的验证样本名称列表 ├── omniobject_val_file.txt # 使用OmniObject3D渲染的验证样本名称列表 ├── train/ │ ├── train-000000.tar │ ├── train-000001.tar │ └── ... └── val/ └── val-000000.tar

每个分片包含 1k 个样本，无其他子文件夹。下载后，可运行 bash extract_all.sh 解压所有数据并删除压缩文件。

许可证

本数据集采用 知识共享署名 4.0 国际 (CC BY 4.0) 许可证发布。用户可以自由使用、修改和重新分发数据集，但需给予适当署名。

引用

若在研究中使用本数据集，请引用：

@inproceedings{10.1145/3757377.3763859, author = {Gao, Fangzhou and Kang, Yuzhen and Zhang, Lianghao and Wang, Li and Wang, Qishen and Zhang, Jiawan}, title = {RCTrans: Transparent Object Reconstruction in Natural Scene via Refractive Correspondence Estimation}, year = {2025}, url = {https://doi.org/10.1145/3757377.3763859}, doi = {10.1145/3757377.3763859}, booktitle = {Proceedings of the SIGGRAPH Asia 2025 Conference Papers}, articleno = {1}, numpages = {11}, }

第三方资产归属

数据集生成使用了未随本版本分发的第三方资产：

• 3D物体网格包括来自 OmniObject3D 的扫描网格和来自 Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes 的 BasicShape。
• 环境光照来源于 Poly Haven 和 Laval Indoor HDR Dataset。 这些资产仅用于渲染，不包含在数据集中。

联系

有关数据集的问题、反馈或疑问，请在数据集仓库或 https://github.com/arkgao/RCTrans 提交Issue。

搜集汇总

数据集介绍

构建方式

在计算机视觉与图形学领域，透明物体重建一直是一项具有挑战性的任务，其核心难点在于捕捉光线穿过透明介质时产生的复杂折射效应。NaturalRefractiveCorrespondence数据集正是为应对这一挑战而构建的大规模合成数据集。该数据集采用Mitsuba渲染器与定制化的光线追踪器协同生成，通过精确模拟光线与透明物体及自然背景的交互过程，为每个样本生成了包含折射物体图像、背景图像以及由光线追踪导出的折射对应关系图在内的完整数据。构建过程中，每个样本均由独特的物体几何、环境光照和相机配置组合而成，确保了数据在物理上的真实性与多样性。

使用方法

为便于研究使用，数据集已预先划分为训练集与验证集，并提供了对应的文件名列表。用户下载分片压缩包后，可通过运行提供的解压脚本一键完成数据提取。在具体应用中，研究者可主要利用`_image.png`（含折射物体的渲染图像）、`_background.png`（无物体背景）、`_correspondence.flo`（折射对应关系）及`_obj_mask.png`（物体掩码）等核心文件进行模型训练，旨在学习从自然场景图像到折射对应关系的映射。可视化辅助文件则有助于深入分析模型输出与理论结果之间的差异，推动透明物体重建技术的进一步发展。

背景与挑战

背景概述

在计算机视觉与图形学领域，透明物体的三维重建一直是一项极具挑战性的任务，因其复杂的折射效应导致传统几何与外观建模方法难以准确捕捉其形态。为应对这一核心难题，NaturalRefractiveCorrespondence数据集应运而生，由Fangzhou Gao等研究人员于2025年创建，并伴随SIGGRAPH Asia会议论文《RCTrans: Transparent Object Reconstruction in Natural Scene via Refractive Correspondence Estimation》正式发布。该数据集旨在通过大规模合成数据，精确建模透明物体在自然背景下的折射对应关系，为基于学习的重建算法提供关键训练与验证基础，推动了透明物体理解与场景重建技术的实质性进展。

当前挑战

该数据集致力于解决透明物体在复杂自然场景中的三维重建问题，其核心挑战在于如何准确估计由折射引起的非线性和高维对应关系，这要求模型能够从单张图像中推断出光线路径的复杂扭曲。在构建过程中，挑战主要源于物理真实的合成渲染：需要整合多样化的物体几何、环境光照与相机配置，并确保折射效应的模拟精度，同时处理大规模数据生成带来的计算与存储负担，以及平衡合成数据的真实性与泛化能力，以支撑后续深度学习模型的稳健训练。

常用场景

经典使用场景

在计算机视觉与图形学领域，透明物体重建始终是一项极具挑战性的任务，因其折射特性导致光线路径复杂，难以直接从二维图像中推断三维结构。NaturalRefractiveCorrespondence数据集通过大规模合成数据，为折射对应关系估计提供了基准。该数据集最经典的使用场景是训练深度神经网络，以从单张自然场景图像中预测透明物体引起的背景像素位移，即折射对应图，从而为后续的三维形状恢复奠定基础。

解决学术问题

该数据集主要解决了透明物体在复杂自然光照下进行准确三维重建的学术难题。传统方法受限于真实数据匮乏与物理建模的复杂性，难以泛化。通过提供精确的、由光线追踪生成的折射对应真值，该数据集使得数据驱动的学习成为可能，推动了基于学习的透明物体重建方法的发展，弥合了合成数据与真实世界应用之间的鸿沟，对计算摄影与增强现实等领域具有深远意义。

实际应用

在实际应用层面，基于该数据集训练的技术可赋能多个前沿领域。在机器人视觉中，系统能够更可靠地识别和操作玻璃器皿等透明物体，提升抓取与避障的精度。在增强现实领域，该技术可实现虚拟物体与真实透明表面（如橱窗、眼镜）之间更逼真的光影交互与遮挡效果。此外，在影视特效与工业质检中，也能辅助进行高保真的透明物体数字化与缺陷检测。

数据集最近研究

最新研究方向

在计算机视觉与图形学交叉领域，透明物体重建一直是极具挑战性的前沿课题。NaturalRefractiveCorrespondence数据集通过大规模合成数据，精准捕捉透明物体与自然背景间的折射对应关系，为基于深度学习的折射估计方法提供了关键支撑。当前研究热点聚焦于利用该数据集训练端到端网络，如RCTrans模型，实现复杂自然场景下透明物体的高保真三维重建，推动自动驾驶、机器人抓取等应用中透明障碍物感知技术的突破。这一进展不仅深化了对光与物质交互的理解，更在增强现实与虚拟内容生成中展现出广阔的应用潜力。