OpTical MicroRobot dataset (OTMR)

OTMR数据集是首个公开可用的，旨在支持在光学显微镜下对微机器人进行感知的数据集。该数据集包含了18种不同类型的微机器人，以及176种不同的姿态，共计232,881张图像。数据集涵盖了微机器人感知的两个关键任务：姿态分类和深度回归。OTMR数据集的创建旨在促进微机器人感知领域的研究，推动相关算法的开发和评估。

The OTMR dataset is the first publicly available dataset designed to support microrobot perception under optical microscopy. It includes 18 distinct types of microrobots, 176 different poses, and a total of 232,881 images. The dataset covers two core tasks for microrobot perception: pose classification and depth regression. The OTMR dataset was created to promote research in the field of microrobot perception and advance the development and evaluation of related algorithms.

搜集汇总

数据集介绍

构建方式

OTMR数据集的构建采用了高精度的光学微机器人制造技术，通过双光子聚合（2PP）3D打印技术制备了18种不同设计的微机器人。数据采集系统整合了光学镊子平台和高分辨率CCD相机，在显微镜下捕捉了232,881张图像，覆盖176种不同的姿态变化。图像预处理流程包括灰度转换、维纳滤波降噪、Canny边缘检测和中心裁剪，最终生成256×256像素的标准图像区域。

特点

OTMR数据集作为首个公开的光学微机器人感知基准，其显著特点在于涵盖广泛的微机器人结构多样性，包括对称和非对称几何形状。数据集特别突出了微观环境下的视觉挑战，如低对比度、光学衍射和离焦模糊等现象。每个样本均精确标注了俯仰角、滚转角和深度信息，为研究微观尺度下的姿态估计和深度回归提供了多任务评估框架。数据集的规模和质量使其成为开发鲁棒性感知算法的理想测试平台。

使用方法

该数据集支持两种核心任务：基于深度学习的姿态分类和深度回归。研究人员可采用交叉验证策略评估模型性能，利用提供的五折划分确保结果可靠性。对于姿态分类，建议使用Vision Transformer等注意力机制模型以处理微观图像的全局依赖关系；深度回归任务则受益于ResNet50等深层架构。数据集还支持迁移学习研究，可通过微调预训练模型来适应新的微机器人结构。所有基准代码和评估指标均已开源，便于复现和比较。

背景与挑战

背景概述

光学微机器人数据集（OTMR）由帝国理工学院生物工程系的Lan Wei和Dandan Zhang于2025年推出，旨在解决光学镊子操控下微机器人的位姿与深度感知这一核心科学问题。作为首个公开的显微尺度机器人感知数据集，OTMR包含232,881张涵盖18种微机器人类型和176种位姿的图像，填补了微观环境下机器人视觉感知领域的数据空白。该数据集通过标准化评估框架，为开发具有鲁棒性的微尺度感知模型提供了基础资源，显著推动了生物医学微操作、组织工程等领域的算法研究。

当前挑战

OTMR数据集面临双重挑战：在领域问题层面，微机器人透明材质、低对比度特性及显微环境下的光学衍射噪声，导致传统视觉算法难以实现亚微米级位姿估计；在构建过程中，微纳米加工的高成本与复杂几何位姿的精确标定，使得大规模数据采集面临工程难题。此外，数据标注需解决显微图像中由离焦模糊、布朗运动等微观现象引起的标注不确定性，这对深度学习模型的泛化能力提出了严峻考验。

常用场景

经典使用场景

在生物医学工程领域，光学微机器人的精确操控依赖于对其姿态和深度的实时感知。OTMR数据集作为首个公开的光学微机器人感知数据集，为研究者提供了丰富的图像数据，涵盖了18种不同类型的微机器人和176种独特姿态。该数据集最经典的使用场景在于支持深度学习模型的训练与评估，特别是在姿态分类和深度回归任务中。通过提供标准化的评估基准，OTMR使得研究者能够系统地比较不同算法的性能，从而推动微尺度环境下感知技术的进步。

衍生相关工作

OTMR数据集的发布催生了一系列相关研究工作。在算法层面，基于该数据集的神经架构搜索（NAS）优化了卷积网络结构，显著提升了深度回归任务的性能。在模型设计上，Vision Transformer（ViT）因其卓越的全局依赖建模能力，成为微机器人姿态分类的新基准。此外，OTMR还启发了跨机器人迁移学习的研究，探索了结构相似性对模型泛化性的影响。这些衍生工作不仅推动了微机器人感知技术的发展，也为其他微尺度视觉任务提供了新的研究思路。

数据集最近研究

最新研究方向

随着光学微机器人在生物医学领域的广泛应用，其姿态与深度感知的精确性成为研究热点。OTMR数据集的推出填补了微观尺度下标准化数据资源的空白，为深度学习模型在微机器人视觉感知领域的应用提供了重要基准。前沿研究聚焦于Transformer架构在姿态分类任务中的优越表现，以及深度回归任务中复杂几何结构带来的挑战。通过神经架构搜索优化的模型在跨机器人迁移学习中展现出潜在泛化能力，而Grad-CAM可视化技术为模型决策机制提供了可解释性依据。该数据集正推动着仿真迁移学习、生成式AI增强数据等创新方向的发展，为微观操作系统的闭环控制奠定了数据基础。

相关研究论文

• A Dataset and Benchmarks for Deep Learning-Based Optical Microrobot Pose and Depth Perception

  伦敦帝国理工学院生物工程系 · 2025年