WLI-OM Dataset

我们构建了第一个包含多视角OM图像和WLI扫描的真实世界微结构样本的数据集。该数据集包括从典型微结构研究中收集的五个序列，如花种子、蝴蝶翅膀、电路板和电子元件。这些样本的表面几何特征大小从几十到几百微米不等。每个样本包含37个由Dino-Lite AM7915MZT收集的多视角OM图像和5个由Zygo Newview 8200获得的多视角WLI扫描。We have developed the first dataset of real-world microstructure specimens containing multi-view optical microscopy (OM) images and white light interferometry (WLI) scans. This dataset includes five curated sequences collected from typical microstructure research, such as flower seeds, butterfly wings, circuit boards, and electronic components. The surface geometric features of these specimens range in size from tens to hundreds of micrometers. Each specimen contains 37 multi-view OM images collected by a Dino-Lite AM7915MZT device, as well as 5 multi-view WLI scans acquired by a Zygo Newview 8200 system.

原始信息汇总

OpticFusion: 多模态神经隐式3D微结构重建数据集

数据集概述

OpticFusion数据集是一个用于微结构3D重建的多模态数据集，结合了白光干涉仪（WLI）和光学显微镜（OM）的数据。该数据集首次从计算机视觉多模态重建的角度解决了传统WLI无法捕捉样本表面自然颜色的问题，适用于需要3D几何和颜色信息的微尺度研究应用。

数据集内容

• 数据类型：多视角OM图像和WLI扫描数据。
• 样本类型：包括花种子、蝴蝶翅膀、电路板和电子元件等典型微结构。
• 样本特征：表面几何特征尺寸从几十到几百微米不等。
• 数据量：每个样本包含37张多视角OM图像和5个多视角WLI扫描。

数据采集设备

• OM图像采集设备：Dino-Lite AM7915MZT。
• WLI扫描设备：Zygo Newview 8200。

数据集下载

• 下载地址：WLI-OM Dataset
• 存储路径：下载后请将数据集放置在load/目录下。

安装与使用

• 环境要求：需配置Conda环境，并安装PyTorch>=1.10。

• 安装步骤： bash git clone https://github.com/zju3dv/OpticFusion.git cd OpticFusion pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch pip install -r requirements.txt

• 使用方法：

  • 替换${SCENE_NAME}为WLI-OM数据集中的文件夹名称。

  • 运行以下命令进行重建： bash python launch.py --config configs/wli-om.yaml --gpu 0 --train dataset.scene=${SCENE_NAME} tag=recon

  • 重建结果将保存在exp/文件夹中。

引用

如果您在研究中使用了本论文、代码或数据集，请引用： bibtex @misc{chen2025opticfusionmultimodalneuralimplicit, title={OpticFusion: Multi-Modal Neural Implicit 3D Reconstruction of Microstructures by Fusing White Light Interferometry and Optical Microscopy}, author={Shuo Chen and Yijin Li and Guofeng Zhang}, year={2025}, eprint={2501.09259}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2501.09259}, }

致谢

感谢instant-nsr-pl提供的神经隐式表面重建的优秀实现。

搜集汇总

数据集介绍

构建方式

WLI-OM数据集的构建基于多模态数据融合技术，结合了白光干涉仪（WLI）和光学显微镜（OM）的数据。白光干涉仪用于精确测量微结构的3D形貌，而光学显微镜则捕捉样本表面的自然颜色信息。该数据集包含五种典型微结构样本的多视角OM图像和WLI扫描数据，样本包括花种子、蝴蝶翅膀、电路板和电子元件等，几何特征尺寸从数十微米到数百微米不等。每个样本包含37张多视角OM图像和5次多视角WLI扫描，数据采集设备分别为Dino-Lite AM7915MZT和Zygo Newview 8200。

特点

WLI-OM数据集是首个结合白光干涉仪和光学显微镜的多模态微结构数据集，具有高精度的3D几何信息和丰富的表面颜色信息。数据集涵盖多种典型微结构样本，适用于需要同时分析几何形貌和表面颜色的研究场景。其多视角数据采集方式为微尺度研究提供了全面的视觉信息，支持从多模态视角进行3D重建和分析。

使用方法

使用WLI-OM数据集时，首先需配置PyTorch环境并安装相关依赖库。将数据集下载并放置在指定目录后，通过运行命令行脚本启动3D重建任务。用户需替换脚本中的场景名称参数，并指定GPU设备。重建结果将保存至指定文件夹中，便于后续分析和可视化。该数据集的使用方法简洁高效，适用于计算机视觉和微尺度研究领域的多模态3D重建任务。

背景与挑战

背景概述

WLI-OM数据集由浙江大学的研究团队于2025年发布，旨在解决微结构三维重建中的多模态数据融合问题。该数据集结合了白光干涉仪（WLI）和光学显微镜（OM）的数据，首次实现了微结构的三维几何与表面颜色的同步重建。白光干涉仪虽能精确测量微结构的三维形貌，但无法捕捉表面颜色信息，而光学显微镜则能提供丰富的颜色信息。通过融合这两种技术，WLI-OM数据集为微尺度研究提供了全新的视角，推动了计算机视觉与显微技术的交叉领域发展。该数据集包含五种典型微结构样本，如花种、蝴蝶翅膀、电路板和电子元件，为相关领域的研究提供了重要的数据支持。

当前挑战

WLI-OM数据集在构建过程中面临多重挑战。首先，多模态数据的对齐与融合是核心难题，白光干涉仪和光学显微镜的数据采集方式不同，如何实现几何与颜色信息的精确匹配需要复杂的算法支持。其次，微结构样本的尺寸通常在数十至数百微米之间，数据采集过程中对设备精度和操作技术要求极高。此外，多视角数据的采集与处理也增加了数据集的复杂性，每个样本需包含37张多视角光学显微镜图像和5张多视角白光干涉仪扫描数据。这些挑战不仅体现在数据采集阶段，还贯穿于后续的数据处理与重建过程，对算法的鲁棒性和计算效率提出了更高要求。

常用场景

经典使用场景

WLI-OM数据集在微结构的三维重建领域具有重要应用，尤其是在需要同时获取几何形状和表面颜色的场景中。通过结合白光干涉仪（WLI）和光学显微镜（OM）的多模态数据，该数据集为研究人员提供了一个全面的工具，用于精确重建微米级结构的表面形貌和颜色信息。这种多模态融合的方法在微电子、生物医学和材料科学等领域的研究中尤为重要，能够帮助科学家更全面地理解微观世界的复杂结构。

实际应用

WLI-OM数据集在实际应用中展现了广泛的潜力。例如，在微电子制造中，该数据集可用于精确检测电路板的表面缺陷和几何精度；在生物医学领域，它能够帮助研究人员重建生物组织的微观结构，为疾病诊断提供更精确的数据支持；在材料科学中，该数据集可用于分析材料的表面形貌和颜色变化，为新材料的设计与优化提供依据。这些应用场景充分体现了该数据集在跨学科研究中的实用价值。

衍生相关工作

WLI-OM数据集的发布催生了一系列相关研究工作。例如，基于该数据集的多模态重建算法在计算机视觉领域得到了广泛应用，推动了神经隐式表面重建技术的发展。此外，该数据集还被用于开发新的微结构分析工具，如高精度三维建模软件和自动化检测系统。这些衍生工作不仅扩展了数据集的应用范围，也为微尺度研究提供了更多创新的解决方案，进一步推动了相关领域的学术进展。