TEMSET-24K

TEMSET-24K是一个包含24,306个trans-anal内镜微手术(TEMS)视频微剪辑的开源数据集。每个视频剪辑都由临床专家精心标注，采用一种新颖的分层标签体系，捕捉到细致的手术工作流程。该数据集旨在为索引多部分内镜视频提供密集注释的基准，推动手术数据科学中的最新技术发展。

TEMSET-24K is an open-source dataset containing 24,306 micro-clips of trans-anal endoscopic microsurgery (TEMS) videos. Each video clip is meticulously annotated by clinical experts, adopting a novel hierarchical labeling system that captures detailed surgical workflows. This dataset aims to provide a densely annotated benchmark for indexing multi-part endoscopic videos, advancing the state-of-the-art in surgical data science.

原始信息汇总

evr 数据集概述

数据集名称

evr

开发指南

• 使用 nbdev 相关指南，以开发模式安装 evr 包。
• 安装命令：pip install -e .
• 修改 nbs/ 目录下的内容后，使用 nbdev_prepare 命令编译。

使用方式

安装

• 从 GitHub 仓库安装：pip install git+https://github.com/bilalcodehub/evr.git
• 从 conda 安装：conda install -c bilalcodehub evr
• 从 PyPI 安装：pip install evr

文档

• 文档托管在 GitHub 仓库的 pages。
• 包管理器特定指南可在 conda 和 PyPI 上找到。

使用示例

• 示例代码：1+1 输出结果为 2。

注意

• README 文件为自动生成，请不要编辑。
• 数据集使用和开发细节待补充。

搜集汇总

数据集介绍

构建方式

TEMSET-24K数据集的构建始于对跨肛内镜显微手术（TEMS）的记录，这些记录来自患有早期直肠癌症或大型癌前息肉的患者。通过高清内镜手术视频（ESV）记录，这些视频以60帧/秒的速率捕捉手术过程，生成约50GB的原始数据。为了克服存储和管理上的挑战，数据集采用了压缩技术，将视频文件大小减少了约十分之一，同时保持了图像质量。数据集的标注工作由临床专家使用一个新颖的层次标签分类法进行，该分类法包括“阶段、任务和动作”三联体，详细捕捉了手术流程的每个环节。在标注过程中，专家们首先进行初步标注，然后由一个临床专家小组进行审查和最终确定，以确保标注的一致性。最后，标注数据以JSON格式导出，并创建了关键帧和微剪辑，以便于机器学习模型的使用。

使用方法

TEMSET-24K数据集的使用方法包括数据预处理、模型训练和模型评估。首先，研究人员需要对数据进行预处理，包括视频帧的标准化、关键帧的提取、标签的映射以及微剪辑的生成。然后，可以使用深度学习框架（如PyTorch）和相关的库（如fastai）来实现和训练模型。在模型训练过程中，可以尝试不同的编码器（如ConvNeXt、ViT和SWIN V2）来优化性能。最后，研究人员可以使用标准评估指标（如准确率和F1分数）来评估模型的性能，并使用可视化工具（如Matplotlib）来展示模型结果。此外，数据集还提供了Python库（如EVR）来帮助研究人员进行数据预处理和标注，以便于创建和管理大型多剪辑手术视频数据集。

背景与挑战

背景概述

在手术数据科学领域，内镜手术视频的索引对于系统性的回顾分析和临床绩效评估至关重要。然而，当前的手术视频分析仍然依赖于手动索引，这是一个耗时且劳动密集的过程。随着计算机视觉，尤其是深度学习技术的进步，自动化的潜力逐渐显现，但缺乏公开可用且密集标注的手术数据集限制了这一领域的进展。TEMSET-24K数据集的创建旨在解决这一问题，它是一个开源数据集，包含24,306个经肛门内镜显微手术（TEMS）视频片段，每个片段都由临床专家使用创新的“阶段、任务和动作”三元组层次结构标注，以捕捉复杂的手术工作流程。该数据集的创建不仅为手术数据科学提供了关键的基准，也推动了该领域最先进解决方案的发展。

当前挑战

TEMSET-24K数据集面临的挑战包括：1) 手术场景理解的挑战，特别是在视频分析中，时间线的分割比物体分割更为复杂，因为它涉及到对视频序列的分析，以分类从阶段和任务到活动和不良事件的各种手术元素；2) 构建过程中所遇到的挑战，如内镜视频的存储和管理，以及缺乏丰富的、综合的数据集。此外，内镜视频的标注过程需要大量的时间和专业知识，而目前缺乏可用的标注数据。为了解决这些问题，TEMSET-24K数据集采用了创新的标注方法，并提供了详细的标注指南，以帮助研究人员更好地理解和应用这一数据集。

常用场景

经典使用场景

TEMSET-24K 数据集的创建旨在为内镜手术视频的索引提供密集的注释数据。该数据集最经典的使用场景是通过手术时间线分割，实现内镜手术视频的自动索引。具体而言，该数据集包含了 24,306 个直肠内镜显微手术 (TEMS) 视频片段，每个片段都由临床专家使用新颖的分层标签分类法进行详细注释，包括 "阶段、任务和动作" 三元组，以捕捉复杂的手术工作流程。该数据集的创建为基于深度学习的视频分析模型提供了一个关键的基准，以推动手术数据科学领域的最先进解决方案。

解决学术问题

TEMSET-24K 数据集解决了当前视频分析依赖手动索引的问题。手动索引是一个耗时且效率低下的过程，而 TEMSET-24K 数据集的出现为基于深度学习的自动索引提供了可能。此外，该数据集还解决了缺乏公开可用的、密集注释的手术数据集的问题，这对于训练能够识别手术器械和手术视野中的解剖结构的机器学习模型至关重要。

实际应用

TEMSET-24K 数据集在实际应用场景中具有广泛的应用前景。例如，该数据集可以用于开发能够自动分析手术视频并识别关键事件的软件工具。此外，该数据集还可以用于评估外科医生的表现，并帮助他们改进手术技术。此外，该数据集还可以用于开发能够预测手术剩余时间的模型，为临床决策提供支持。

数据集最近研究

最新研究方向

TEMSET-24K数据集的最新研究方向聚焦于通过深度学习技术自动索引内镜手术视频，并利用手术时间线分割技术进行精确的标注。该数据集的发布为手术数据科学领域提供了一个关键的基准，推动了最先进解决方案的发展。研究团队提出了一个包含五个阶段、十二个任务和八十四个动作的三层标签体系结构，以捕捉手术流程的复杂性。此外，他们还分享了名为EVR1的Python库，用于处理和管理工作流程中的大型多剪辑手术视频数据集。该研究还实施了STALNet模型，该模型使用ConvNeXt、ViT和SWIN V2编码器进行手术时间线分割，并展示了所提出标签体系结构的有效性。TEMSET-24K数据集的发布为手术视频分析领域带来了突破，有望提高手术标准和降低死亡率。

相关研究论文

• TEMSET-24K: Densely Annotated Dataset for Indexing Multipart Endoscopic Videos using Surgical Timeline Segmentation

  英国伯明翰城市大学, 英国伯明翰大学医院, 英国布里斯托尔大学等 · 2025年