FineBio

FineBio是一个细粒度的生物实验视频数据集，包含32名参与者进行模拟生物实验的多视角视频，总时长14.5小时。每个实验形成一个层次结构，包括协议、步骤和原子操作。数据集提供了关于协议、步骤、原子操作、物体位置及其操作状态的层次注释，为结构化活动理解和手-物体交互识别提供了新的挑战。

FineBio is a fine-grained bio-experiment video dataset. It encompasses multi-view video recordings of simulated biological experiments conducted by 32 participants, with a total duration of 14.5 hours. Each experiment follows a hierarchical framework consisting of protocols, procedural steps, and atomic operations. The dataset provides hierarchical annotations covering protocols, steps, atomic operations, object positions and their operational states, which presents novel challenges for structured activity understanding and hand-object interaction recognition.

原始信息汇总

FineBio: A Fine-Grained Video Dataset of Biological Experiments with Hierarchical Annotation

数据集下载

• 使用限制：仅限于非商业研究/开发使用。
• 访问要求：用户需签署许可协议并提交相关表格以获取视频、元数据和注释。
• 下载流程：链接和所需凭证将在批准后通过电子邮件发送。

数据集命名规则

• 视频和注释文件命名规则如下：
  • 第一人称视角：P<participant_id (1-32)>_<protocol_id (1-32)>_<take_id>.mp4
  • 第三人称视角：P<participant_id (1-32)>_<protocol_id (1-32)>_<take_id>_T<camera_id (1-5)>.mp4
  • 原子操作注释：P<participant_id (1-32)>_<protocol_id (1-32)>_<take_id>.txt
  • 对象检测图像：P<participant_id (1-32)>_<protocol_id (1-32)>_<take_id>_<frame_num>.jpg 和 P<participant_id (1-32)>_<protocol_id (1-32)>_<take_id>_T<camera_id (1-5)>_frame_num>.jpg

预训练模型

步骤分割

主干网络	模型	准确率	编辑距离	F1@10	F1@25	F1@50	F1@75	权重链接
I3D	MS-TCN++	90.2	96.7	97.4	96.7	93.5	73.4	Link
I3D	ASFormer	87.2	94.8	94.2	92.7	86.5	67.0	Link

原子操作检测

主干网络	模型	mAP@0.3	mAP@0.4	mAP@0.5	mAP@0.6	mAP@0.7	平均	权重链接
I3D	ActionFormer (多头部 + 集合分类)	45.2	41.7	36.5	28.4	18.7	34.1	Link

对象检测

模型	AP	AP50	AP_manipulated	AP_affected	权重链接
DINO	53.3	77.4	55.9	51.6	Link
Deformable DETR	56.1	78.5	64.0	58.8	Link

操作/受影响对象检测

	手	手 + 操作对象	手 + 操作对象 + 受影响对象	权重链接
左手	96.8	6.5	5.9	Link
右手	94.5	22.2	10.7

搜集汇总

数据集介绍

构建方式

在生物实验领域，实验过程的精确记录与可重复性至关重要。FineBio数据集的构建采用了多视角视频采集策略，通过五台固定第三人称相机和一台头戴式第一人称相机，记录了32名参与者执行模拟分子生物学实验的过程，总时长约14.5小时。实验遵循七种标准化协议，涵盖细胞裂解与回收、DNA提取及聚合酶链反应等关键流程。数据采集过程中，通过QR时间码实现多视角视频的时序同步，并采用棋盘格与AR标记进行几何校准，确保了空间对齐的准确性。视频内容经过严格筛选，剔除了包含重大操作失误的试验，最终保留了226个有效试验，形成了层次化标注的基础。

特点

FineBio数据集的核心特点在于其精细化的层次化标注体系。该体系从宏观到微观涵盖了协议、步骤、原子操作及对象状态四个层级，其中步骤标注严格遵循实验协议的顺序，而原子操作则允许参与者在执行细节上存在自由度。数据集共包含3,541个步骤标注、50,659个原子操作标注以及71,548个对象边界框标注，并额外提供了对象接触状态、操纵状态及受影响状态的二进制信息。这种多层次、细粒度的标注结构，不仅捕捉了实验活动的时序依赖性，还揭示了手-物交互的复杂动态，为结构化活动理解与交互识别研究提供了丰富而严谨的基准。

使用方法

FineBio数据集为计算机视觉领域，特别是视频理解与活动分析，提供了多任务评估框架。研究者可利用该数据集进行步骤分割、原子操作检测、对象检测以及被操纵/受影响对象检测四项基准任务。数据集已按参与者划分为训练集、验证集和测试集，确保了评估的公正性。在使用时，建议首先提取视频的时空特征，例如采用预训练的I3D网络，随后针对不同任务适配相应的模型架构，如MS-TCN++用于步骤分割，ActionFormer用于原子操作检测。数据集的层次化标注支持跨粒度信息融合，鼓励开发能够同时建模宏观步骤与微观操作的统一识别模型，以推动生物实验自动化理解的技术发展。

背景与挑战

背景概述

在科学实验领域，精确且可复现的实验过程记录至关重要。为推进实验自动化与过程理解，由日本产业技术综合研究所与东京大学的研究团队于2024年共同创建了FineBio数据集。该数据集聚焦于分子生物学实验的细粒度视频分析，旨在通过多视角视频记录与层次化标注，实现对实验步骤、原子操作及手物交互的自动识别。其核心研究问题在于如何从视觉数据中解析具有严格协议约束但操作顺序灵活的生物学实验流程，从而为实验室自动化、实验记录辅助及操作技能传递提供技术基础。FineBio通过涵盖七种实验协议、32名参与者的226次试验，累计14.5小时的多视角视频，以及步骤、原子操作、物体位置与操控状态的多层次标注，为结构化活动理解领域注入了新的研究动力。

当前挑战

FineBio数据集所应对的领域挑战在于生物学实验的细粒度活动理解，其核心是解析具有层次结构的实验流程：在遵循严格协议步骤的同时，原子操作顺序却存在自由度。这要求模型能够同时识别宏观步骤与微观操作，并理解手与物体间的复杂交互关系。在数据集构建过程中，研究团队面临多重挑战：其一，需在保持实验真实性的前提下进行安全可控的模拟，例如使用蒸馏水替代真实试剂并简化等待步骤；其二，多层次标注的复杂性，包括对步骤、原子操作（动词、操控物体、受影响物体）、物体边界框及其操控状态的同步标注，标注一致性保障成本高昂；其三，多视角视频的时空同步与几何标定，需通过QR时间码与标定板实现毫米级误差控制；其四，物体外观在交互中的动态变化（如遮挡、形变）增加了物体检测与状态判定的难度。这些挑战共同构成了该数据集在算法开发与评估上的核心难点。

常用场景

经典使用场景

在生物实验自动化与过程理解的研究领域中，FineBio数据集为细粒度视频分析提供了关键基准。该数据集通过多视角视频记录模拟生物实验过程，并引入层次化标注体系，涵盖协议、步骤、原子操作及物体交互状态等多个维度。其经典应用场景集中于结构化活动理解，特别是对实验流程中严格顺序的步骤与自由组合的原子操作进行联合建模，以推动计算机视觉模型在复杂程序性任务中的性能边界。

解决学术问题

FineBio数据集主要针对生物实验视频理解中的若干核心学术问题。它通过层次化标注解决了结构化活动识别中多粒度时序建模的挑战，为步骤分割、原子操作检测等任务提供基准。同时，数据集标注了物体位置及其操纵状态，促进了手-物体交互关系建模的研究，特别是在工具使用场景中操纵物体与受影响物体的区分。这些标注体系为模型融合不同层次信息、理解实验操作逻辑提供了数据基础，对提升实验过程的可解释性与自动化记录具有重要意义。

衍生相关工作

FineBio数据集已衍生出多个相关研究方向与改进工作。在层次化活动理解方面，研究者基于其多粒度标注开发了联合步骤分割与原子操作检测的端到端模型。手-物体交互识别领域，该数据集推动了操纵物体与受影响物体的联合检测框架，并启发了对工具使用场景中因果关系的建模。此外，其多视角视频配置促进了跨视角特征融合方法的研究，部分工作进一步扩展了数据集的协议多样性或引入了真实试剂实验场景，以增强模型的实际迁移能力。