sperm-net/VISEM-Tracking

VISEM-Tracking是一个人类精子追踪数据集，包含20个每个30秒的视频记录，这些视频来自于湿精子制备。数据集共有29,196帧，每帧都有手动标注的边界框坐标和一组由领域专家分析出的精子特征。除了标记的数据集外，还提供了未标记的视频，以支持自监督学习研究。该数据集是VISEM数据集的扩展，包含了追踪数据和额外的临床元数据。VISEM-Tracking is a dataset of human spermatozoa tracking, featuring 20 video recordings of 30 seconds each, captured from wet semen preparations. The dataset contains 29,196 frames with manually annotated bounding-box coordinates and a set of sperm characteristics analyzed by domain experts. In addition to the labeled dataset, unlabeled videos are provided to enable research in self-supervised learning. This dataset serves as an extension of the VISEM dataset, incorporating tracking data and additional clinical metadata.

搜集汇总

数据集介绍

构建方式

在男性生殖健康与计算机视觉交叉领域，VISEM-Tracking数据集应运而生，旨在解决人工精子活力评估耗时且依赖专家经验的问题。该数据集基于2008至2013年间一项关于男性生殖功能与肥胖关系的研究，从20名参与者处采集了湿精液制备样本，使用Olympus CX31显微镜在400倍放大下以UEye UI-2210C相机录制了20段30秒视频，共计29196帧。随后，数据科学家通过LabelBox工具对每帧中的精子进行手动边界框标注，并由三位生物学专家验证标注的准确性与一致性，同时赋予追踪ID以记录精子运动轨迹，最终形成包含三类精子（正常、簇状、小头或针头）的YOLO格式标注文件。此外，数据集还整合了精液分析结果、脂肪酸组成及性激素水平等临床元数据，并额外提供336段未标记视频以支持自监督学习研究。

特点

VISEM-Tracking数据集的核心特点在于其精细化的多模态标注与丰富的扩展性。它不仅是首个公开的人类精子追踪数据集，更将目标检测与时空追踪任务有机结合，通过追踪ID实现精子个体在时间序列上的连续性识别。标注涵盖三种精子类别，有效反映临床中精子形态与聚集状态的多样性。同时，数据集附带的临床元数据（如精子浓度、活力及激素水平）为关联分析提供了生物学背景，使其超越单纯视觉任务，适用于计算机辅助精液分析系统的研发。此外，大量未标记视频的引入为半监督及自监督学习范式提供了理想试验场，降低了模型对昂贵标注数据的依赖，提升了在真实临床场景中的泛化潜力。

使用方法

研究者可基于VISEM-Tracking数据集开展多层次分析。在直接应用中，该数据集适用于训练精子检测与追踪模型，例如利用YOLO格式的边界框标注进行目标检测，并结合追踪ID实现运动轨迹提取与活力参数计算。对于计算机辅助精液分析系统开发，可联合临床元数据构建多任务学习框架，同步预测精子浓度与形态类别。未标记视频则可用于自监督预训练，通过对比学习或掩码重建等策略学习通用视觉表征，再迁移至少量标注数据上微调。使用时需注意数据集仅含20名受试者，泛化性受限，建议结合数据增强或域适应技术以提升模型稳健性，且应避免将其直接用于临床诊断决策。

背景与挑战

背景概述

在生殖医学与计算机视觉交叉领域，人类精子运动分析是评估男性生育能力的关键环节。传统人工镜检依赖专家经验，耗时且主观性强，亟需自动化方法提升效率与准确性。VISEM-Tracking数据集由Simula大都会数字工程中心与奥斯陆城市大学的研究人员于2023年创建，基于2008至2013年间针对男性生殖功能与肥胖的临床研究，采集了20段30秒时长、400倍放大倍率的湿片精子显微视频，包含29,196帧人工标注的边界框及追踪标识，同时提供336段未标注视频以支持半监督学习。该数据集扩展了原有VISEM数据集，覆盖精子类别（正常、聚集、小头）、运动轨迹及脂肪酸成分等临床元数据，为计算机辅助精子分析（CASA）系统开发提供了标准化基准，相关成果发表于《Nature Scientific Data》，对推动生殖健康领域的AI应用具有里程碑意义。

当前挑战

该数据集面临的核心挑战包括：首先，领域问题层面，精子运动具有高度非刚性与形态多样性，传统检测算法在应对精子聚集、交叉重叠及快速运动时易产生跟踪丢失或误判，且现有CASA系统对异常精子（如小头或针头精子）的识别率有限，亟需鲁棒的细粒度检测与多目标跟踪模型。其次，构建过程中，仅20名受试者的样本量限制了数据集的统计泛化能力，不同人群的精子运动模式差异（如地域、年龄、健康状况）未被充分覆盖；此外，标注仅以边界框形式提供，缺乏对精子头部、中段及尾部形态的精细分割，难以支撑更深层次的形态学分析；同时，湿片制备与显微拍摄条件（如焦距、光照）的不一致性可能引入系统性偏差，对模型的可迁移性构成潜在威胁。

常用场景

经典使用场景

VISEM-Tracking数据集的核心应用在于训练与评估基于深度学习的精子检测与追踪模型。该数据集提供了20段30秒时长、包含29,196帧人工标注边界框及追踪ID的高帧率视频，并划分了正常精子、精子团簇及小头/针头精子三类目标。研究者可借此开发端到端的计算机辅助精子分析（CASA）系统，实现精子轨迹的连续追踪与运动参数（如速度、线性度）的自动提取。此外，数据集额外提供的336段未标注视频为半监督与自监督学习范式提供了天然实验场，使得模型能够利用大规模未标注数据提升泛化能力，尤其适用于标注成本高昂的医学影像场景。

实际应用

在临床辅助生殖与男科诊断实践中，VISEM-Tracking支撑的自动化分析工具可显著提升精子活力评估的效率与客观性。基于该数据集训练的模型能够实时处理显微镜视频流，自动输出精子浓度、活动率及运动学指标，为精液质量分析提供量化依据。此外，该数据集包含的脂肪酸组成与性激素水平等临床元数据，使得模型可结合多模态信息探索精子运动能力与生化指标间的关联，助力个性化生育力评估。在药物研发领域，该数据集可用于构建高通量筛选平台，通过追踪药物干预前后精子运动模式的变化，评估化合物的生殖毒性或治疗效果。

衍生相关工作

VISEM-Tracking的发布催生了一系列衍生研究，包括基于注意力机制的精子轨迹预测网络、融合时序信息的多目标追踪框架以及面向低资源场景的轻量化检测模型。部分工作借鉴了该数据集的半监督学习设计，提出了利用未标注视频进行对比预训练的策略，显著提升了少样本条件下的追踪性能。此外，研究者基于该数据集开展了精子簇团分割与运动模式聚类分析，拓展了数据集在群体行为理解中的应用。这些衍生工作不仅深化了计算机视觉技术在生殖医学中的落地，还反向推动了多目标追踪与自监督学习等通用方法在密集、变形目标场景下的理论突破。