MetaScope Datasets

MetaScope数据集是为金属透镜内窥镜创建的，旨在解决金属透镜成像中存在的色差问题。数据集由金属透镜成像数据和对应的没有色差的高质量图像组成，用于训练模型以恢复图像并提高分割精度。数据集通过将公开的内窥镜数据集图像投影到屏幕上并使用金属透镜相机拍摄图像来生成。

The MetaScope dataset was developed for metalens endoscopes, aiming to address the chromatic aberration issue inherent in metalens imaging. It comprises metalens imaging data and corresponding high-quality images free of chromatic aberration, which are employed to train models for image restoration and improved segmentation accuracy. The dataset is generated by projecting images from public endoscope datasets onto a screen and capturing the images using a metalens camera.

搜集汇总

数据集介绍

构建方式

MetaScope数据集的构建采用了创新的代理摄影解决方案，通过将公开可用的内窥镜数据集图像投影到屏幕上，并使用金属透镜相机进行拍摄，从而生成包含金属透镜图像、高质量真实图像及对应语义标签的三元组数据。这一方法有效克服了金属透镜成像质量受限导致的临床数据稀缺问题，确保了数据集的多样性和真实性。光学模拟技术的应用进一步验证了色差模式的物理一致性，为算法设计提供了可靠的数据基础。

特点

MetaScope数据集在超微金属透镜内窥镜领域具有显著特点，其核心在于捕捉了金属透镜特有的色差现象，包括颜色与位置相关的强度损失以及颜色依赖的模糊和错位。数据集涵盖了五种不同的临床场景，包括诊断和手术应用，图像分辨率高达1024×1024，确保了数据的全面性和高清晰度。通过光学先验的编码，数据集为模型训练提供了丰富的物理引导，使其能够有效校正金属透镜成像中的色差问题。

使用方法

MetaScope数据集的使用方法主要围绕金属透镜图像的恢复和分割任务展开。研究人员可利用三元组数据（金属透镜图像、高质量真实图像和分割标签）进行端到端的模型训练。数据集支持两种研究路径：基于金属透镜图像的分割任务（感知）和基于金属透镜图像的恢复任务（低级视觉）。通过集成光学先验知识，如光学信息强度调整（OIA）和光学信息色差校正（OCC），模型能够有效学习并校正金属透镜成像中的色差问题，从而提升临床诊断和手术的精确性。

背景与挑战

背景概述

MetaScope Datasets是由香港中文大学和香港城市大学的研究团队于2025年提出的，专注于超微型金属透镜内窥镜成像的数据集。该数据集的创建旨在解决传统内窥镜在毫米级厚度物理限制下的成像瓶颈问题，通过利用新兴的超构光学技术，实现微米级的超微型成像。MetaScope数据集不仅填补了金属透镜在数据采集和算法研究上的空白，还推动了计算机视觉与物理光学的跨学科融合，为医疗机器人和微创手术技术的发展提供了重要支持。

当前挑战

MetaScope数据集面临的挑战主要包括两个方面：首先，在领域问题方面，金属透镜成像存在严重的色差问题，导致不同波长的光无法聚焦在同一成像平面上，从而影响诊断的可靠性；其次，在数据集构建过程中，由于金属透镜成像质量有限，临床数据采集存在显著障碍，需要通过代理摄影解决方案生成配对数据，这增加了数据集的构建复杂度。此外，金属透镜的波长依赖性响应导致颜色通道强度不平衡和空间衰减模式变化，进一步增加了数据处理的难度。

常用场景

经典使用场景

MetaScope数据集专为超微型金属透镜内窥镜成像而设计，其经典使用场景聚焦于医疗内窥镜领域中的图像分割与恢复任务。在临床诊断中，该数据集支持对胃肠道息肉、手术器械等目标的精确分割，同时通过物理光学模拟解决金属透镜固有的色差问题。其独特价值在于将纳米级光学器件（金属透镜）的成像特性与深度学习结合，为微创手术和早期疾病检测提供高分辨率视觉支持。

衍生相关工作

该数据集催生了多项经典工作：1）DRMI通过端到端学习实现金属透镜图像恢复；2）EDAformer利用嵌入自由Transformer提升分割效率；3）U-KAN将Kolmogorov-Arnold网络引入医学图像分析。这些衍生研究共同推动了《Nature Nanotechnology》等期刊关注的元光学智能成像领域，并为增强现实手术导航、显微机器人视觉等方向奠定算法基础。

数据集最近研究

最新研究方向

MetaScope数据集的最新研究方向聚焦于超微型金属透镜内窥镜的光学驱动神经网络技术。随着微型内窥镜在人体内部精准视觉感知领域的快速发展，传统凸透镜相机因毫米级厚度的物理限制已难以满足微观临床需求。近年来，基于亚微米级金属透镜的超微成像技术因其突破性的轻量化设计而备受关注。然而，金属透镜在物理特性上与常规透镜存在显著差异，导致数据采集与算法研究之间存在巨大空白。针对这一挑战，MetaScope通过建立金属透镜内窥镜专用数据集，并开发基于物理光学先验的光学驱动神经网络，成功实现了对色差问题的联合修复与组织分割。该研究不仅开创性地解决了金属透镜在医疗机器人领域的应用瓶颈，其提出的光学信息强度调整（OIA）和光学信息色差校正（OCC）模块，更通过梯度引导蒸馏技术显著提升了模型在真实生物医学场景中的泛化能力。这一突破性进展为微创诊疗技术的微型化发展提供了全新的硬件与算法协同解决方案，在智能医疗装备领域具有重要的学术价值与产业意义。

相关研究论文

• MetaScope: Optics-Driven Neural Network for Ultra-Micro Metalens Endoscopy

  香港中文大学, 香港城市大学, 瑞士洛桑联邦理工学院 · 2025年