lmms-lab/Ferret-Bench

---
dataset_info:
features:
- name: question_id
dtype: string
- name: question
dtype: string
- name: image
dtype: image
- name: image_name
dtype: string
- name: category
dtype: string
- name: context
dtype: string
- name: gpt_answer
dtype: string
splits:
- name: test
num_bytes: 19750932.0
num_examples: 120
download_size: 11713676
dataset_size: 19750932.0
configs:
- config_name: default
data_files:
- split: test
path: data/test-*
---

<p align="center" width="100%">
<img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%">
</p>

# Large-scale Multi-modality Models Evaluation Suite

> Accelerating the development of large-scale multi-modality models (LMMs) with `lmms-eval`

🏠 [Homepage](https://lmms-lab.github.io/) | 📚 [Documentation](docs/README.md) | 🤗 [Huggingface Datasets](https://huggingface.co/lmms-lab)

# This Dataset

This is a formatted version of [FerretBench](https://github.com/apple/ml-ferret). It is used in our `lmms-eval` pipeline to allow for one-click evaluations of large multi-modality models.

```
@article{you2023ferret,
title={Ferret: Refer and Ground Anything Anywhere at Any Granularity},
author={You, Haoxuan and Zhang, Haotian and Gan, Zhe and Du, Xianzhi and Zhang, Bowen and Wang, Zirui and Cao, Liangliang and Chang, Shih-Fu and Yang, Yinfei},
journal={arXiv preprint arXiv:2310.07704},
year={2023}
}
```

---
数据集信息：
特征：
- 名称：问题ID
数据类型：字符串
- 名称：问题
数据类型：字符串
- 名称：图像
数据类型：图像
- 名称：图像名称
数据类型：字符串
- 名称：类别
数据类型：字符串
- 名称：上下文
数据类型：字符串
- 名称：GPT生成回答
数据类型：字符串
划分集：
- 名称：测试集
字节数：19750932.0
样本数量：120
下载大小：11713676
数据集总大小：19750932.0
配置项：
- 配置名称：默认配置
数据文件：
- 划分集：测试集
路径：data/test-*
---

<p align="center" width="100%"><img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%"></p>

# 大规模多模态模型评测套件

> 借助`lmms-eval`加速大规模多模态模型（Large-scale Multi-modality Models, LMMs）的研发

🏠 [项目主页](https://lmms-lab.github.io/) | 📚 [文档](docs/README.md) | 🤗 [Huggingface数据集仓库](https://huggingface.co/lmms-lab)

# 本数据集

本数据集是[FerretBench](https://github.com/apple/ml-ferret)的格式化版本，可集成于我们的`lmms-eval`流程中，实现大规模多模态模型的一键评测。

@article{you2023ferret,
title={Ferret：任意粒度下实现任意对象的指称与定位},
author={You, Haoxuan and Zhang, Haotian and Gan, Zhe and Du, Xianzhi and Zhang, Bowen and Wang, Zirui and Cao, Liangliang and Chang, Shih-Fu and Yang, Yinfei},
journal={arXiv preprint arXiv:2310.07704},
year={2023}
}

原始信息汇总

数据集概述

数据集信息

特征

• question_id: 字符串类型
• question: 字符串类型
• image: 图像类型
• image_name: 字符串类型
• category: 字符串类型
• context: 字符串类型
• gpt_answer: 字符串类型

数据分割

• test: 包含120个样本，总大小为19750932字节

数据大小

• 下载大小: 11713676字节
• 数据集大小: 19750932字节

配置

• default: 包含测试数据文件，路径为data/test-*

引用

@article{you2023ferret, title={Ferret: Refer and Ground Anything Anywhere at Any Granularity}, author={You, Haoxuan and Zhang, Haotian and Gan, Zhe and Du, Xianzhi and Zhang, Bowen and Wang, Zirui and Cao, Liangliang and Chang, Shih-Fu and Yang, Yinfei}, journal={arXiv preprint arXiv:2310.07704}, year={2023} }