FineBio

Data and code for the paper "FineBio: A Fine-Grained Video Dataset of Biological Experiments with Hierarchical Annotation"

论文《FineBio：具备层级标注的生物实验细粒度视频数据集》配套的数据与代码

原始信息汇总

数据集概述

数据集名称

• 名称: FineBio
• 全称: A Fine-Grained Video Dataset of Biological Experiments with Hierarchical Annotation

数据集内容

• 视频文件命名规则:
  • 第一人称视角: P<participant_id><protocol_id><take_id>.mp4
  • 第三人称视角: P<participant_id><protocol_id><take_id>_T<camera_id>.mp4
• 注释文件命名规则:
  • 原子操作注释: P<participant_id><protocol_id><take_id>.txt
• 物体检测图像命名规则:
  • P<participant_id><protocol_id><take_id>_<frame_num>.jpg
  • P<participant_id><protocol_id><take_id>_T<camera_id>_frame_num>.jpg

访问与使用

• 使用限制: 仅限于非商业研究/开发用途
• 访问条件: 用户需签署许可协议并通过此表单提交
• 数据获取: 通过电子邮件发送数据集链接及所需凭证

预训练模型

• 步骤分割模型:
  • 模型: MS-TCN++, ASFormer
  • 性能指标: 准确率(Acc), 编辑距离(Edit), F1分数(F1@10, F1@25, F1@50, F1@75)
  • 权重链接: MS-TCN++, ASFormer
• 原子操作检测模型:
  • 模型: ActionFormer
  • 性能指标: mAP@0.3, mAP@0.4, mAP@0.5, mAP@0.6, mAP@0.7, 平均mAP
  • 权重链接: ActionFormer
• 物体检测模型:
  • 模型: DINO, Deformable DETR
  • 性能指标: AP, AP50, AP_manipulated, AP_affected
  • 权重链接: DINO, Deformable DETR
• 操作/受影响物体检测模型:
  • 性能指标: 手部检测准确率, 手+操作物体检测准确率, 手+操作+受影响物体检测准确率
  • 权重链接: 左/右手检测模型

搜集汇总

数据集介绍

构建方式

FineBio数据集的构建基于生物实验视频的精细标注，涵盖了32名参与者在7种不同实验协议下的操作视频。视频数据分为第一人称视角和第三人称视角，分别通过5个摄像头进行记录。每个视频文件均按照参与者编号、协议编号和拍摄次数的规则命名，确保数据的有序性和可追溯性。此外，数据集还提供了原子操作标注和物体检测图像，进一步丰富了数据的层次结构。

特点

FineBio数据集的特点在于其多层次、精细化的标注体系。视频数据不仅包含实验操作的完整记录，还通过原子操作标注和物体检测图像，提供了对实验过程中每个步骤的详细描述。数据集中的物体检测图像涵盖了被操作物体和受影响物体的检测结果，为研究者提供了全面的实验场景分析工具。此外，数据集还提供了预训练模型，支持步骤分割、原子操作检测和物体检测等多种任务，极大地提升了数据集的实用性和研究价值。

使用方法

使用FineBio数据集时，用户需首先签署非商业研究/开发用途的许可协议，并通过指定表单提交申请。数据集下载链接及相关凭证将在审核通过后通过电子邮件发送。用户可根据视频文件的命名规则，快速定位所需的实验视频及其对应的标注文件。数据集提供的预训练模型可直接用于步骤分割、原子操作检测和物体检测等任务，用户也可根据需求进行模型微调或扩展。在使用过程中，若遇到问题，可通过GitHub仓库或联系作者进行反馈。

背景与挑战

背景概述

FineBio数据集由日本产业技术综合研究所（AIST）的研究团队于2024年发布，旨在为生物实验视频分析提供细粒度的标注资源。该数据集由Takuma Yagi、Misaki Ohashi等研究人员主导开发，涵盖了32名参与者在7种不同实验协议下的视频记录，并提供了多层次的结构化标注，包括原子操作、物体检测等。FineBio的发布填补了生物实验视频分析领域的数据空白，为研究者提供了丰富的实验场景和精确的标注信息，推动了计算机视觉与生物实验自动化的交叉研究。

当前挑战

FineBio数据集在解决生物实验视频分析问题时面临多重挑战。首先，生物实验的复杂性和多样性使得视频中的操作步骤难以精确分割和识别，尤其是在多视角、多对象交互的场景下。其次，数据集的构建过程中，研究人员需要处理大量的视频数据，并确保标注的一致性和准确性，这对标注人员的专业知识和耐心提出了极高要求。此外，由于生物实验涉及的操作步骤通常具有较高的时间动态性，如何有效地捕捉和标注这些动态变化也是一个技术难点。这些挑战不仅体现在数据集的构建过程中，也影响了后续模型训练和评估的精度与效率。

常用场景

经典使用场景

FineBio数据集在生物实验视频分析领域具有广泛的应用，尤其是在精细动作识别和操作步骤分割方面。该数据集通过提供第一人称和第三人称视角的视频，结合层次化标注，使得研究者能够深入分析实验中的每一个细节动作。经典的使用场景包括利用该数据集训练和评估动作识别模型，以提升模型在复杂生物实验环境中的表现。

衍生相关工作

FineBio数据集衍生了一系列经典的研究工作，包括基于I3D和MS-TCN++的动作识别模型、基于ActionFormer的原子操作检测模型以及基于DINO和Deformable DETR的对象检测模型。这些模型在FineBio数据集上的表现不仅验证了其有效性，还为后续研究提供了重要的参考和基准。相关工作的成果进一步推动了生物实验视频分析领域的技术进步。

数据集最近研究

最新研究方向

在生物实验视频分析领域，FineBio数据集以其细粒度的层次化标注和多样化的实验场景，为研究者提供了丰富的资源。该数据集的最新研究方向集中在视频动作分割、原子操作检测以及物体检测等任务上。通过引入先进的深度学习模型如MS-TCN++、ActionFormer和DINO，研究者能够更精确地识别和分类实验中的关键动作和操作对象。这些技术的应用不仅提升了实验数据的自动化分析效率，还为生物实验的标准化和可重复性研究提供了有力支持。FineBio数据集的发布，推动了生物实验视频分析领域的前沿发展，为跨学科研究提供了新的视角和工具。