DFL-KamLab/HSTLI_A-Dataset-of-Human-Semen-Time-Lapse-Images

HSTLI是一个包含3,266个人类精子延时显微视频的数据集。视频来自两种成像模式：CASA系统（精子类分析仪）和光学显微镜（Swift M10DB-MP + Fujifilm X-T30）。部分视频已手动标注了每个可见精子头部的边界框。该数据集支持检测、跟踪和运动能力计算。总内容包括34个标注视频、约149万精子标注、3,232个未标注视频和约27小时的图像。数据集还包含数千个在不同制备条件（洗涤与未洗涤）、稀释水平、放大倍数和感兴趣区域下捕获的未标注视频。HSTLI contains 3,266 time-lapse microscopy videos of human sperm. Clips were recorded from two imaging modalities: CASA system (Sperm Class Analyzer) and optical microscope (Swift M10DB-MP + Fujifilm X-T30). A subset of videos was manually annotated with bounding boxes around each visible sperm head. The dataset supports detection, tracking and motility computation. Total contents include 34 annotated videos, ~1.49 million sperm annotations, 3,232 unannotated videos, and ~27 hours of imagery. The dataset also includes thousands of unlabeled clips captured under varying preparation conditions (washed vs. unwashed), dilution levels, magnifications, and regions of interest.

搜集汇总

数据集介绍

构建方式

在生殖医学与计算机视觉交叉领域，HSTLI数据集应运而生，旨在为精子显微视频分析提供标准化基准。该数据集采集自51位健康男性捐赠者的精液样本，通过两种成像模态——商用计算机辅助精子分析系统（CASA）与光学显微镜（Swift M10DB-MP联合Fujifilm X-T30）——在30-60帧/秒的速率下录制，并分割为30秒长的视频片段。总计获得3,266个视频片段，涵盖约27小时的影像数据。其中，34个视频（14个CASA片段与20个光学显微镜片段，各含900帧）经由MATLAB工具与Labelbox平台进行了人工标注，为每个可见精子头部生成边界框，累计约149万个标注框。所有数据遵循BIDS风格命名规则，并配有包含成像系统、放大倍数、样本处理方式等详细参数的JSON元数据文件。

特点

该数据集的核心特色在于其多维度覆盖与精细标注的平衡。一方面，它兼具标注与未标注数据，34个标注视频提供了约149万个精子头部边界框，遵循YOLO格式且类别索引恒定为0，为监督学习提供坚实支撑；另一方面，3,232个未标注视频涵盖洗涤与未洗涤样本、不同稀释倍数、放大倍数及感兴趣区域等多样化条件，支持半监督与自监督学习范式。尤为突出的是，数据集整合了临床技师或CASA系统输出的精子活力参数报告，涵盖VSL、VAP、VCL等运动学指标，使其不仅适用于检测与跟踪任务，还能直接服务于活力计算与运动模式分析，成为连接传统临床评估与深度学习方法的桥梁。

使用方法

研究者可灵活调用该数据集适配多种计算机视觉任务。对于目标检测，可直接使用标注的边界框训练YOLOv5等模型，实现精子头部精准定位；在多目标跟踪场景中，可结合SORT算法对时间序列视频帧进行连续追踪。数据集内置的元数据与活力参数报告，支持对精子运动学指标（如直线速度VSL、平均路径速度VAP等）进行定量计算与可视化。未标注视频的大量存在为半监督学习、自监督预训练或域适应研究提供了丰富素材。所有视频文件通过HuggingFace数据集库直接获取，配合GitHub代码仓库中的示例流程，可快速复现检测与跟踪管线，降低生殖医学影像分析的技术门槛。

背景与挑战

背景概述

在生殖医学与计算机视觉交叉领域，精子活力分析与形态学评估长期依赖人工镜检或商用计算机辅助精液分析（CASA）系统，前者耗时耗力且主观性强，后者则受限于封闭算法与高昂成本。为突破这一瓶颈，由新泽西理工学院、康奈尔大学威尔医学院及多家生殖医学机构的研究人员于2025年共同创建了HSTLI数据集。该数据集收录了来自51名健康男性的3,266段延时显微视频，涵盖CASA系统与光学显微镜两种成像模态，总时长约27小时。其中34段视频经过精细标注，包含约149万个精子头部边界框，为检测、追踪与运动参数计算提供了基准真值。作为首个大规模公开的人类精子延时图像数据集，HSTLI填补了该领域公共资源的空白，为开发自动化精子分析算法、比较不同成像系统性能以及推动辅助生殖技术的智能化进程奠定了重要基础。

当前挑战

HSTLI所应对的核心挑战在于精子检测与追踪任务的高度复杂性：精子头部形态微小、运动轨迹非线性且常伴随频繁交叉与遮挡，传统图像处理算法难以鲁棒地实现多目标追踪；同时，不同成像系统（CASA与光学显微镜）在分辨率、对比度及帧率上的差异进一步增加了跨模态泛化的难度。在数据集构建过程中，研究人员面临多重技术难题：首先，需从海量原始视频中精确截取30秒片段并同步记录元数据，涉及51名受试者、多种制备条件（洗涤/未洗涤、稀释梯度）及放大倍率下的标准化采集流程；其次，手动标注约149万个精子头部需耗费大量人力，且需确保跨标注者的一致性；最后，如何将CASA系统输出的运动参数与人工标注的追踪结果进行有效对齐与验证，也是确保数据集质量与实用性的关键挑战。

常用场景

经典使用场景

HSTLI数据集的核心经典用途在于为人类精子显微视频中的目标检测与多目标跟踪任务提供大规模、高质量的基准资源。该数据集包含了来自两种成像模态（CASA系统与光学显微镜）的3,266段延时显微视频，其中34段经过精细标注，提供了约149万个精子头部边界框，为训练和评估如YOLOv5等目标检测模型以及SORT等跟踪算法提供了坚实的监督信号。此外，未标注的大量视频也为半监督或自监督学习范式下的特征学习与运动模式挖掘开辟了新的可能。

衍生相关工作

基于HSTLI数据集，已有研究衍生出若干代表性工作。例如，该数据集的发布论文本身即展示了使用YOLOv5结合SORT实现精子自动检测与跟踪的基线系统，并可视化了运动参数。此外，该数据集为后续开发更高效的精子形态分类模型、跨模态运动模式对比分析以及弱监督学习下的精子行为建模提供了公开基准。未来，围绕该数据集可能涌现出针对密集场景下小目标跟踪、长时程运动轨迹分析以及多模态融合评估等方向的创新成果，进一步推动生殖医学影像计算的发展。

数据集最近研究

最新研究方向

在男性生殖健康与辅助生殖技术领域，基于时序显微影像的精子动态分析正成为前沿热点。HSTLI数据集以其大规模、多模态的时序视频资源，为精子检测、多目标追踪及运动参数计算提供了关键基准。该数据集融合了临床CASA系统与光学显微镜双模态影像，包含超1.49百万个手动标注的边界框，不仅支持传统计算机视觉任务，还为半监督学习和基于大容量未标注视频的自监督学习开辟了新路径。其发布恰逢人工智能在生殖医学中加速应用的浪潮，通过YOLOv5与SORT等模型的示例应用，展示了从精子头部精准定位到运动轨迹量化（如VSL、VAP、VCL等参数）的全链条自动化能力，显著推动了男性生育力评估的客观化与标准化进程，对提升辅助生殖成功率具有深远影响。