MEDISEG

MEDISEG是由伦敦大学圣乔治学院与帝国理工学院联合构建的药品图像分割数据集，旨在解决现实场景中药物识别因光照、遮挡和多药混杂导致的误差问题。该数据集包含8,262张图像，涵盖32种药片类型，提供精细的实例分割标注，覆盖单药片至多药片混杂（最多13片/帧）的复杂场景。数据通过iPhone 12 Pro Max采集，模拟真实用药环境中的光照变化和剂量盒遮挡，并采用COCO格式标注。其创新性在于首次系统性地捕捉现实用药场景的视觉复杂性，为开发抗干扰的AI药物识别系统提供关键训练资源，特别适用于老年多药治疗等高风险场景的用药安全研究。MEDISEG is a pharmaceutical image segmentation dataset jointly constructed by St George's, University of London and Imperial College London, aiming to address the recognition errors caused by illumination variations, occlusion and multi-drug mixing in real-world medication scenarios. This dataset contains 8,262 images covering 32 types of tablets, with fine-grained instance segmentation annotations, and covers complex scenarios ranging from single-tablet cases to mixed multi-tablet scenes (up to 13 tablets per frame). The data was collected using an iPhone 12 Pro Max, simulating illumination changes and blister pack occlusion in real medication environments, and all annotations are in COCO format. Its innovation lies in the first systematic capture of the visual complexity of real medication scenarios, providing a critical training resource for developing anti-interference AI drug recognition systems, and it is particularly suitable for medication safety research in high-risk scenarios such as polypharmacy treatment for the elderly.

搜集汇总

数据集介绍

构建方式

在药物识别领域，现有数据集往往局限于单一药片图像，难以反映真实场景中多药片共存、光照多变及遮挡等复杂情况。MEDISEG数据集通过精心设计的采集流程弥补了这一缺陷，其构建过程首先使用iPhone 12 Pro Max在可控光照条件下拍摄标准四乘七分药盒中的药片，模拟家庭与临床环境中的实际摆放。随后对图像进行裁剪，将每个药槽独立处理，并统一调整为640×640像素分辨率以保持一致性。所有图像均通过COCO Annotator工具进行人工标注，生成精确的实例分割掩码，涵盖药片重叠与部分遮挡情况，且经过多轮审核确保标注质量，最终形成包含3种与32种药片类别的两个子集。

特点

MEDISEG数据集的核心特点在于其高度贴近真实世界的复杂性与标注的完整性。该数据集不仅包含8,262张图像，覆盖32种不同药片类型，更通过多药片场景、可变光照及分药盒边缘遮挡等条件，再现了日常用药环境中的视觉挑战。其标注体系提供了完整的实例分割掩码，支持像素级识别，相较于现有数据集仅有的边界框或部分标注，显著提升了模型训练的精细度。此外，数据集中刻意引入了形状与颜色相似的药片类别，如白色小药片间的细微差异，迫使模型学习区分细微的类间特征，而非依赖粗糙的视觉线索，从而增强了算法在真实场景中的鲁棒性与泛化能力。

使用方法

MEDISEG数据集的使用方法灵活多样，主要服务于药物识别与分割模型的开发与评估。研究人员可直接利用其符合COCO格式的标注文件，通过Detectron2、PyTorch或TensorFlow等主流框架加载数据，快速构建训练与验证流程。数据集支持全监督学习，如在YOLOv8与YOLOv9上的训练已证明其能实现高精度检测；同时，其设计的少样本学习协议允许在有限标注下评估模型对新药片类别的适应能力，特别适用于实际应用中新药引入的场景。用户还可结合附带的元数据文件，探索药片视觉特征与注册信息间的关联，为自动化药物安全系统提供更丰富的上下文支持。

背景与挑战

背景概述

在医疗健康领域，药物错误和不良药物事件（ADEs）对患者安全构成显著威胁，尤其在老龄化社会背景下，多重用药场景日益普遍。传统药片识别数据集多局限于单一药片在理想环境下的图像，缺乏对真实世界中重叠、遮挡及复杂光照条件的模拟，限制了人工智能模型的实际应用效能。为应对这一挑战，伦敦大学圣乔治学院的研究团队于2025年发布了MEDISEG数据集，该数据集包含8,262张图像，涵盖32种不同药片类型，并提供了精细的实例分割标注。其核心研究目标在于通过模拟真实用药场景（如多药片共存于药盒中），推动鲁棒性药片识别系统的发展，以降低药物管理错误风险，提升患者安全。

当前挑战

MEDISEG数据集致力于解决药片识别领域的关键挑战：在复杂真实场景中实现高精度、细粒度的药片检测与分割。具体而言，其面临的挑战包括：1）领域问题挑战：模型需在药片相互重叠、部分遮挡、光照多变以及背景杂乱的环境中，准确区分视觉特征高度相似的药片类别（如形状相近或颜色相似），这对模型的判别能力提出了极高要求。2）构建过程挑战：数据采集需在模拟真实用药环境（如标准药盒）中进行，人工控制光照与角度以生成自然阴影和反光；标注工作则需对每一药片实例进行精确的边界勾勒，尤其在重叠区域，这要求标注者遵循严格的一致性准则，并经过多重审核以确保标注质量与可靠性。

常用场景

经典使用场景

在药物安全与计算机视觉交叉领域，MEDISEG数据集最经典的应用场景是训练和评估面向真实世界复杂环境的药片识别与实例分割模型。该数据集精心构建了包含重叠药片、多变光照、部分遮挡及多药片组合的图像，模拟了家庭或临床环境中常见的药盒（如七日分药盒）场景。研究者利用其详尽的实例分割标注，能够开发出在杂乱背景下仍能精确识别并分割单个药片的算法，为自动化药物验证系统提供核心训练数据。

解决学术问题

MEDISEG数据集主要解决了现有药片图像数据集中普遍存在的两大局限：一是缺乏对真实世界复杂性的刻画，如多药片重叠、遮挡及环境干扰；二是实例分割标注的缺失或不完整。它通过提供涵盖32种药片类型、8262张高质量标注图像的数据，为学术界研究在非受控环境下的细粒度物体识别、小样本学习以及复杂场景下的实例分割等关键问题提供了基准。其意义在于推动了药物识别研究从理想化、单一对象的检测，向更贴近实际应用需求的鲁棒性、可迁移性模型发展。

衍生相关工作

MEDISEG数据集自发布以来，已衍生出多项围绕其数据特性展开的经典研究工作。论文本身即展示了使用YOLOv8、YOLOv9等先进检测模型在该数据集上取得的高性能基准。更重要的是，研究团队基于MEDISEG设计的小样本检测协议，系统评估了模型在有限标注下对未见药片类别的泛化能力，证明了其在复杂多药片场景中学习到的表征更具可迁移性。这些工作为后续研究如何利用类似真实世界数据集提升模型在遮挡、重叠等挑战下的鲁棒性，以及探索小样本、持续学习等范式在医疗AI中的应用提供了重要范例和比较基线。