sammarfy/VLM4Bio

VLM4Bio是一个用于评估预训练视觉语言模型（VLMs）在生物图像特征发现中的性能的基准数据集。该数据集包含鱼类、鸟类和蝴蝶的图像，每个类别大约有10,000张图像，总共包含469,000个问答对，涉及30,000张图像。数据集支持五种生物学相关任务，包括物种分类、特征识别、特征定位、特征引用和特征计数。数据集的图像来源多样，包括FishAIR、Jiggins Heliconius Collection和CUB-200-2011等。数据集的注释包括科学名称、特征矩阵和手动标注的边界框。

原始信息汇总

数据集概述

数据集详情

VLM4Bio 是一个用于评估预训练视觉语言模型（VLM）在生物图像中进行特征发现的科学问答对基准数据集。该数据集包含三种生物类群的图像：鱼、鸟和蝴蝶，每类约10,000张图像。

数据集描述

VLM4Bio 是一个大规模的注释数据集，包含469,000个问答对，涉及约30,000张图像，涵盖五种生物学相关的任务。这些任务包括物种分类、特征识别、特征定位、特征指称和特征计数。这些任务旨在测试VLM在生物学中的不同方面性能，从测量预测准确性到评估其使用已知生物特征的视觉线索进行推理的能力。

支持的任务和排行榜

VLM4Bio 支持的任务包括零样本图像分类、零样本目标检测和视觉问答。数据集提供了不同任务类型的排行榜，展示了VLM基线在零样本准确性方面的表现。

语言

数据集支持英语和拉丁语。

数据集结构

数据实例

数据集包含三种生物类群的图像：鱼、鸟和蝴蝶，每类约10,000张图像。

数据字段

数据集包含以下字段：

• 物种分类
• 特征识别
• 特征定位
• 特征指称
• 特征计数

数据分割

数据集分为以下几个部分：

• 物种分类
• 物种分类（简单）
• 物种分类（中等）
• 物种分类（提示）
• 物种分类（困难）

数据收集和处理

数据集的图像来自以下几个来源：

• 鱼类图像来自FishAIR，包含Great Lakes Invasive Network Project (GLIN) 和 Integrated Digitized Biocollections (iDigBio) 的图像。
• 蝴蝶图像来自Jiggins Heliconius Collection数据集。
• 鸟类图像来自CUB-200-2011数据集。

注释

数据集的科学名称和特征矩阵来自以下几个来源：

• 鱼类和蝴蝶的科学名称直接来自其来源。
• 鸟类的科学名称来自iNatLoc500数据集。
• 特征矩阵和特征识别任务的问答对由生物学专家手动注释。

使用数据的注意事项

数据集不包含个人和敏感信息。

许可证信息

数据集使用CC-BY-4.0许可证。