OpticFusion

OpticFusion数据集由浙江大学CAD&CG国家重点实验室创建，旨在通过融合白光干涉仪（WLI）和光学显微镜（OM）的多模态数据，实现微结构的三维重建与自然色彩纹理的获取。该数据集包含多种微尺度样本的多视角WLI和OM图像，样本表面特征尺寸从数十微米到数百微米不等，涵盖蝴蝶翅膀、花种、电路板和微传感器等。数据集通过两阶段数据关联方法获取WLI和OM图像的姿态，并利用神经隐式表示技术进行多模态数据融合，最终生成具有自然色彩纹理的微结构三维模型。该数据集的应用领域包括微尺度表面粗糙度测量和生物样本的详细分析，为微尺度研究提供了有效的工具。The OpticFusion dataset was developed by the State Key Laboratory of CAD&CG, Zhejiang University. It is designed to achieve 3D reconstruction of microstructures and acquisition of natural color textures by fusing multimodal data from White Light Interferometers (WLI) and Optical Microscopes (OM). This dataset includes multi-view WLI and OM images of various micro-scale samples, whose surface feature sizes range from tens to hundreds of micrometers, covering specimens such as butterfly wings, flower seeds, circuit boards, and microsensors. The dataset obtains the poses of WLI and OM images via a two-stage data association method, and leverages neural implicit representation technology to fuse multimodal data, ultimately generating 3D models of microstructures with natural color textures. Its application scenarios include micro-scale surface roughness measurement and detailed analysis of biological samples, providing an effective tool for micro-scale research.

搜集汇总

数据集介绍

构建方式

OpticFusion数据集的构建基于多模态数据融合技术，结合了白光干涉仪（WLI）和光学显微镜（OM）的多视角图像。首先，通过独立采集WLI和OM的多视角图像，利用两步数据关联方法确定这些图像在绝对尺度坐标系中的位姿。随后，采用神经隐式表示方法，通过联合优化WLI和OM的多视角图像，生成具有自然颜色纹理的3D模型。该数据集涵盖了多种微尺度样本，包括蝴蝶翅膀、花种子、电路板等，确保了数据的多样性和广泛适用性。

使用方法

OpticFusion数据集的使用方法主要围绕多模态数据的联合优化展开。用户可以通过加载多视角的WLI和OM图像，利用数据集提供的神经隐式表示模型进行3D重建。重建过程中，WLI数据用于约束几何形状，而OM数据则用于纹理映射和颜色提取。数据集还支持表面粗糙度分析和生物样本的细节研究，用户可以通过生成的3D模型进行定量分析和可视化。此外，数据集的开源代码和详细文档为用户提供了便捷的工具和指导，使其能够快速应用于微尺度研究领域。

背景与挑战

背景概述

OpticFusion数据集由浙江大学CAD&CG国家重点实验室的Shuo Chen、Yijin Li和Guofeng Zhang等人于2025年提出，旨在解决微结构三维重建中的多模态数据融合问题。传统的白光干涉仪（WLI）虽然能够精确测量微结构的表面形貌，但无法捕捉样品的自然颜色信息，而这对许多微观研究至关重要。OpticFusion通过结合白光干涉仪和光学显微镜（OM）的多视角图像，首次从计算机视觉的多模态重建角度解决了这一难题。该数据集不仅提供了高精度的三维几何信息，还通过颜色分解技术提取了样品的自然颜色，为微结构研究提供了强有力的工具。

当前挑战

OpticFusion数据集面临的挑战主要体现在两个方面。首先，在领域问题方面，白光干涉仪虽然能够提供高精度的三维形貌数据，但其单色CCD相机无法捕捉样品的颜色信息，而光学显微镜虽然能够提供颜色信息，但其分辨率较低且无法精确测量表面形貌。如何有效融合这两种模态的数据，实现高精度且带有自然颜色的三维重建，是该数据集的核心挑战。其次，在构建过程中，由于WLI和OM图像的采集是独立的，且两者的分辨率和成像模型不同，如何通过两步数据关联方法将这两种模态的数据对齐到同一坐标系中，也是一个技术难点。此外，如何在神经网络中实现多模态数据的联合优化，确保重建结果的几何精度和颜色自然性，也是构建过程中的一大挑战。

常用场景

经典使用场景

OpticFusion数据集在微结构的三维重建领域具有广泛的应用，尤其是在需要高精度几何信息和自然色彩纹理的场景中。该数据集通过融合白光干涉仪（WLI）和光学显微镜（OM）的多模态数据，能够实现对微米级样本的精确三维重建。经典使用场景包括集成电路检测、生物结构分析以及超精密加工等领域，这些场景通常需要同时获取样本的三维形貌和表面颜色信息。

解决学术问题

OpticFusion数据集解决了传统白光干涉仪在微结构三维重建中无法获取样本自然颜色的难题。通过引入光学显微镜的多视角图像，并结合神经隐式表示技术，该数据集实现了对微结构的高精度几何重建和自然色彩纹理的提取。这一创新不仅避免了昂贵的硬件改造，还为微尺度研究提供了更为全面的数据支持，推动了多模态三维重建技术的发展。

实际应用

在实际应用中，OpticFusion数据集为微尺度研究提供了强大的工具。例如，在集成电路检测中，该数据集能够帮助识别微小的缺陷和腐蚀；在生物结构分析中，它可以用于观察蝴蝶翅膀等生物样本的表面细节和颜色变化。此外，该数据集还可用于超精密加工中的表面粗糙度分析，为微纳米级加工精度的评估提供了可靠的数据支持。

数据集最近研究

最新研究方向

近年来，OpticFusion数据集在微结构三维重建领域引起了广泛关注，尤其是在多模态数据融合与神经隐式表示的结合方面。该数据集通过融合白光干涉仪（WLI）和光学显微镜（OM）的多视图图像，实现了微结构的高精度三维重建与自然色彩纹理的获取。这一创新方法不仅克服了传统WLI无法捕捉样本表面颜色的局限性，还避免了昂贵的硬件改造需求。当前的研究热点集中在如何进一步提升多模态数据的对齐精度与重建质量，尤其是在复杂微结构表面的细节还原与色彩保真度方面。此外，OpticFusion的应用潜力在微纳加工、集成电路检测以及生物结构分析等领域得到了广泛验证，为微观尺度研究提供了强有力的工具。其开源代码与真实世界数据集的发布，进一步推动了该领域的研究进展，吸引了众多学者探索其在更多场景中的应用与优化。

相关研究论文

• OpticFusion: Multi-Modal Neural Implicit 3D Reconstruction of Microstructures by Fusing White Light Interferometry and Optical Microscopy

  浙江大学CAD&CG国家重点实验室 · 2025年