BIABench

BIABench 是一个用于评估 AI agent 在真实世界端到端生物图像分析任务上的基准数据集。该数据集包含 16 个任务，这些任务均基于已发表的生物学研究重建，每个任务为 agent 提供原始图像和一份书面指令，并根据研究的真实标注和专家编写的评分标准对 agent 的输出进行评分。数据集的整体结构为：每个任务包含一个压缩的输入文件（input.zip）、一个评估文件（evaluation.zip，除一个任务外）、任务规范 YAML 文件（task_spec.yaml）、评估规则 YAML 文件（evaluation_rubric.yaml）以及包含文件校验和信息、来源和许可的 manifest.json 文件。下载总大小约为 11.1 GB（压缩），解压后约为 26.6 GB。16 个任务涵盖了多种生物图像模态，包括 H&E 组织学、荧光显微镜、相差显微镜、TIRF、共聚焦显微镜、光片显微镜等，维度从 2D 到 5D（时间序列、多通道、3D 等）。每个任务都从源数据集中选取了少量的图像（通常为 1 到 265 张），并进行了文件重命名或格式转换。该数据集主要用于评估和基准测试 AI agent 在生物图像分析中的能力，其地面真值数据仅用于评估目的，禁止用于模型训练或微调。数据集采用混合许可协议，不同任务可能有不同的图像许可（如 CC BY 4.0、CC BY-SA 4.0、CC0 1.0、GPL-3.0 等），但数据集本身的贡献（任务规范、评分规则、清单等）采用 CC BY 4.0 许可。BIABench is a benchmark dataset for evaluating AI agents on real-world end-to-end biological image analysis tasks. The dataset contains 16 tasks, each reconstructed from published biological research, providing the agent with raw images and a written instruction, and scoring the agents output based on ground truth annotations and expert-written evaluation rubrics. The overall structure of the dataset: each task includes a compressed input file (input.zip), an evaluation file (evaluation.zip, except for one task), a task specification YAML file (task_spec.yaml), an evaluation rubric YAML file (evaluation_rubric.yaml), and a manifest.json containing file checksums, sources, and licenses. The total download size is approximately 11.1 GB (compressed) and about 26.6 GB when decompressed. The 16 tasks cover a variety of biological image modalities, including H&E histology, fluorescence microscopy, phase contrast microscopy, TIRF, confocal microscopy, light sheet microscopy, etc., with dimensions ranging from 2D to 5D (time series, multi-channel, 3D, etc.). Each task selects a small number of images from the source dataset (typically 1 to 265), with file renaming or format conversion. This dataset is primarily used for evaluating and benchmarking AI agents in biological image analysis; the ground truth data is for evaluation purposes only and is prohibited for model training or fine-tuning. The dataset adopts a mixed license: different tasks may have different image licenses (e.g., CC BY 4.0, CC BY-SA 4.0, CC0 1.0, GPL-3.0, etc.), but the contributions of the dataset itself (task specifications, scoring rules, manifests, etc.) are licensed under CC BY 4.0.

原始信息汇总

BIABench 数据集概述

基本信息

• 数据集名称：BIABench
• 数据集地址：https://huggingface.co/datasets/BIABench/BIABench
• 许可证：CC BY 4.0、CC BY-SA 4.0、CC BY 3.0、CC0 1.0、GPL-3.0、other（EMBL-EBI Terms of Use）
• 标签：biology、microscopy、bioimage-analysis、agents、benchmark、llm-agents
• 规模类别：n<1K
• 语言：en
• 查看器：false

数据集简介

BIABench 用于评估 AI 智能体在真实世界端到端生物图像分析任务中的表现。它包含 16 个任务，这些任务重建自已发表的生物学研究。每个任务为智能体提供原始图像和书面指令，并根据研究的真实标注和专家编写的评分标准对其输出进行评分。

• 网站：https://biabench.github.io
• 代码：https://github.com/BIABench/BIABench
• 论文：待添加

结构

<task_id>/ input.zip what the agent sees; unpacks to input/ evaluation.zip ground truth; unpacks to evaluation/ and carries evaluation/CANARY.txt task_spec.yaml agent-facing specification (instructions, deliverables, source) evaluation_rubric.yaml metric configuration and checklist filter used by the evaluator manifest.json SHA-256 and size of every file, plus source and license manifest.json aggregate of the per-task manifests, plus the canary string LICENSE per-task license terms, sources, conditions and attribution wording LICENSES/ full license texts referenced by the tasks

cytoplasm-nucleus-translocation-bbbc014 是唯一没有 evaluation.zip 的任务，因为它不附带参考标注。该任务改为根据智能体自身的每孔表格进行评分，通过测试源实验所确立的剂量反应来评分；evaluation_rubric.yaml 保存该配置。

下载大小为 11.1 GB 的压缩包，解压后为 26.6 GB。基准仓库的 benchmark_tasks/download_from_hf.py（https://github.com/BIABench/BIABench/blob/main/benchmark_tasks/download_from_hf.py）会验证 SHA-256 清单，并将每个任务解压到运行器和评估器所期望的 benchmark_tasks/<task_id>/{input,evaluation}/ 布局中。

任务

task_id	short name	modality / dims	license of the images	input (unpacked)
he-nuinsseg-nuclear-segmentation	H&E nuclear segmentation	H&E histology, 2D	CC BY 4.0	4.0 MB
fluo-helacytonuc-cell-segmentation	HeLa nucleus/cytoplasm segmentation	fluorescence, 2D	CC BY 4.0	288 MB
fluo-cell-counting-2d-cellfmcount	IF cell counting	fluorescence, 2D	CC BY-SA 4.0	40 MB
smlm-localization-dnapaint	DNA-PAINT SMLM localization	TIRF, 2D time series	GPL-3.0 repository	12.5 MB
cytoplasm-nucleus-translocation-bbbc014	NF-kB translocation quantification	fluorescence, 2D	CC BY 3.0 Unported	395 MB
microglia-phenotype-progression-bbbc054	Microglia activation dynamics	phase contrast, 2D time-lapse	CC BY 3.0 Unported	166 MB
fluo-coronavirus-golgi-colocalization	SARS-CoV-2 / Golgi colocalization	confocal, 2D	CC BY 4.0	247 MB
sim-microtubules-segmentation	Synthetic microtubule segmentation	simulated fluorescence, 2D	CC BY 4.0	7.2 MB
wound-healing-speed-kymograph-gigadb100118	Wound-healing kymograph	DIC, 2D time-lapse	CC0 1.0	570 MB
fluo-dna-repair-foci-colocalization-sbsst227	DNA repair foci colocalization	spinning-disk confocal, 2D time-lapse	EMBL-EBI Terms of Use (no CC license stated)	733 MB
3d-light-sheet-brain-vessels	LSFM brain capillary segmentation	light-sheet, 3D	CC BY 4.0	1.50 GB
confocal-mosaic-4channel-stitching-ctc-model	Multi-channel mosaic stitching	confocal, 4-channel 8x8 mosaic, 3 z	CC BY 4.0	1.62 GB
5D-npc-assembly-kinetics-idr0115	Nuclear pore reassembly dynamics	confocal, 3D time-lapse, 2 ch	CC BY 4.0	2.19 GB
3d-confocal-puncta-quantification-sbiad1556	Oncogenic puncta 3D quantification	spinning-disk confocal, 3D, 2 ch	CC0 1.0	5.09 GB
phase-contrast-bacteria-tracking-toiam	Bacteria single-cell tracking	phase contrast, 2D, 800 frames	CC BY 4.0	482 MB
3d-fluo-cell-segmentation-lateral-line-idr0079	Zebrafish lateral-line 3D cell segmentation	AiryScan confocal, 3D	CC BY 4.0	588 MB

每个任务都是其源数据集的一个子集（通常为 1 到 265 张图像），并进行文件重命名，在少数情况下还会进行格式转换，例如将多帧影片存储为单帧 TIF。确切的选择以及每个文件的 SHA-256 都记录在 manifest.json 中；每个任务的源仓库和源论文记录在 LICENSE（https://huggingface.co/datasets/BIABench/BIABench/blob/main/LICENSE）以及任务自身的 YAML 中。

引用

bibtex @article{biabench2026, title = {BIABench: Evaluating AI agents on real-world bioimage analysis tasks}, author = {Pan, Zixuan and Panzeri, Davide and Johanns, Lukas and Moor, Marilin and Zhou, Yu and Peterson, Hedi and Shi, Yiyu and Chen, Jianxu}, year = {2026}, note = {Preprint. Venue, volume and DOI to be added.} }

请同时引用您所使用的每个任务的源数据集；若干许可证要求这样做。

许可证与署名

自有贡献（本卡片、任务规范、评分标准、清单以及派生真实标注）采用 CC BY 4.0；图像和上游真实标注保留上表所示的源许可证。各许可证要求的来源、条件和署名措辞记录在 LICENSE（https://huggingface.co/datasets/BIABench/BIABench/blob/main/LICENSE）中。

仅限评估通知

真实标注公开是为了让任何人都能运行评估器并复现论文的分数。每个 evaluation.zip 和聚合的 manifest.json 都包含金丝雀字符串 BIOIMAGEBENCH-CANARY-<uuid4>。请不要在 evaluation.zip 的内容上训练或微调模型，不要重新托管它们，并在任何派生副本中保持金丝雀字符串完整，以便检测污染。

搜集汇总

数据集介绍

构建方式

在生物图像分析领域，智能体评测长期缺乏真实科研场景的基准。BIABench从已发表的生物学研究中重建了16项端到端任务，每项任务为智能体提供原始图像与书面指令，并以其产出与原始研究的真实标注及专家编写的评分细则进行比对。数据集构建遵循严格的结构规范：每项任务包含input.zip（智能体可见数据）、evaluation.zip（真实标注，含金丝雀字符串）、task_spec.yaml（任务说明）、evaluation_rubric.yaml（评分配置）及manifest.json（SHA-256与文件大小）。其中细胞质-细胞核转位任务因无参考标注，改为基于智能体自身产出的每孔数据表，检验源实验所确立的剂量响应关系，评分配置存于评估细则中。

特点

BIABench以其真实性与多样性著称。16项任务覆盖组织学、荧光显微、相位对比、光片显微、超分辨定位等多种成像模态，维度从二维到三维延时，包含核分割、细胞计数、共定位、拼接、追踪等典型分析场景。任务规模多为1至265幅图像，且多数为源数据集的子集，伴有文件重命名或格式转换（如多帧电影存为单帧TIF）。下载包为11.1 GB压缩文件，解压后达26.6 GB。每个任务保留其源许可协议，涵盖CC BY、CC BY-SA、CC0、GPL-3.0及EMBL-EBI使用条款等，并附有来源与署名要求。评估集内嵌金丝雀字符串以检测数据污染，明确禁止用于模型训练或微调。

使用方法

使用BIABench需先通过官方仓库的下载脚本获取数据，该脚本依据SHA-256清单校验每个任务文件并解压至benchmark_tasks/<task_id>/{input,evaluation}/的标准目录结构。智能体接收input目录中的原始图像及task_spec.yaml给出的指令与交付要求，生成分析结果。评估阶段，运行器依据evaluation_rubric.yaml配置的度量与检查清单，将产出与evaluation目录中的真实标注或专家评分标准进行比对。对于细胞质-细胞核转位任务，评估直接基于智能体输出的每孔数据表，检验剂量响应关系。使用时应遵循各任务许可协议，引用对应源数据集及论文，并确保金丝雀字符串完整保留。

背景与挑战

背景概述

生物图像分析在细胞生物学与病理学研究中占据核心地位，其自动化解读长期依赖专家手工设计与领域专用流程。BIABench于2026年由Zixuan Pan、Davide Panzeri、Lukas Johanns、Marilin Moor、Yu Zhou、Hedi Peterson、Yiyu Shi与Jianxu Chen等研究者联合构建，旨在以真实已发表生物学研究为蓝本，系统评估人工智能体在端到端生物图像分析中的能力。该基准涵盖16项任务，涉及荧光、共聚焦、光片及相差等多种显微模态，要求智能体从原始图像与书面指令出发，复现研究级分析结论。其发布为生物图像分析领域提供了首个贴近真实科研场景的智能体评测平台，推动了可复现、可量化评估范式的形成。

当前挑战

BIABench所应对的领域问题在于：真实生物图像分析流程高度异质，从多通道拼接、三维分割到动力学追踪与共定位量化，均需跨尺度推理与领域知识整合，而通用视觉模型难以直接胜任。其构建过程亦面临多重挑战，包括从已发表研究中重构任务时确保金标准与专家评分细则的可比性，处理源数据许可差异与文件格式转换带来的技术负担，以及在避免数据泄露的前提下公开评估集。此外，任务样本量偏小、图像维度与模态跨度大，使得模型泛化与公平比较尤为困难。

常用场景

经典使用场景

在生物图像分析领域，BIABench作为评估AI代理端到端解决真实世界任务能力的基准，其经典使用场景聚焦于让智能体接收原始显微图像和书面指令，自主完成从图像处理到结果产出的全过程。这些任务涵盖细胞分割、定位、共定位、追踪和三维重建等多模态挑战，依据已发表生物学研究的真实数据进行重构，并通过专家编写的评分标准对代理输出严格量化评估，从而推动自动化生物图像分析的发展。

实际应用

在实际应用层面，BIABench助力生物医学研究者快速验证AI工具在药物筛选、疾病诊断和细胞动力学监测等场景中的效能，降低人工分析成本并提高实验通量。其任务设计贴近真实实验流程，便于在制药和临床研究中部署，加速从图像数据到生物学洞见的转化。

衍生相关工作

基于BIABench，衍生出多项经典工作，包括代理算法优化、多模态融合方法以及针对特定任务（如三维分割和动态追踪）的专用模型开发。这些工作进一步扩展了基准的应用范围，促进了生物图像分析领域的技术创新和跨领域合作。