lmms-lab/COCO-Caption2017

---
dataset_info:
features:
- name: question_id
dtype: string
- name: image
dtype: image
- name: question
dtype: string
- name: answer
sequence: string
- name: id
dtype: int64
- name: license
dtype: int8
- name: file_name
dtype: string
- name: coco_url
dtype: string
- name: height
dtype: int32
- name: width
dtype: int32
- name: date_captured
dtype: string
splits:
- name: val
num_bytes: 788752747.0
num_examples: 5000
- name: test
num_bytes: 6649116198.0
num_examples: 40670
download_size: 7444321699
dataset_size: 7437868945.0
configs:
- config_name: default
data_files:
- split: val
path: data/val-*
- split: test
path: data/test-*
---

<p align="center" width="100%">
<img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%">
</p>

# Large-scale Multi-modality Models Evaluation Suite

> Accelerating the development of large-scale multi-modality models (LMMs) with `lmms-eval`

🏠 [Homepage](https://lmms-lab.github.io/) | 📚 [Documentation](docs/README.md) | 🤗 [Huggingface Datasets](https://huggingface.co/lmms-lab)

# This Dataset

This is a formatted version of [COCO-Caption-2017-version](https://cocodataset.org/#home). It is used in our `lmms-eval` pipeline to allow for one-click evaluations of large multi-modality models.

```
@misc{lin2015microsoft,
title={Microsoft COCO: Common Objects in Context},
author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
year={2015},
eprint={1405.0312},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
```

数据集信息：
特征字段：
- 字段名：question_id，数据类型：字符串（string）
- 字段名：image，数据类型：图像（image）
- 字段名：question，数据类型：字符串（string）
- 字段名：answer，数据类型：字符串序列（sequence: string）
- 字段名：id，数据类型：64位整型（int64）
- 字段名：license，数据类型：8位整型（int8）
- 字段名：file_name，数据类型：字符串（string）
- 字段名：coco_url，数据类型：字符串（string）
- 字段名：height，数据类型：32位整型（int32）
- 字段名：width，数据类型：32位整型（int32）
- 字段名：date_captured，数据类型：字符串（string）
数据集划分：
- 划分名称：val（验证集），占用字节数：788752747.0，样本量：5000
- 划分名称：test（测试集），占用字节数：6649116198.0，样本量：40670
下载总大小：7444321699，数据集总存储大小：7437868945.0
配置项：
- 配置名称：default（默认配置），数据文件路径：
- 划分：val（验证集），路径：data/val-*
- 划分：test（测试集），路径：data/test-*

<p align="center" width="100%">
<img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%">
</p>

# 大规模多模态模型评测套件（Large-scale Multi-modality Models Evaluation Suite）
> 借助`lmms-eval`加速大规模多模态模型（Large-scale Multi-modality Models, LMMs）的研发
🏠 [项目主页](https://lmms-lab.github.io/) | 📚 [文档](docs/README.md) | 🤗 [Huggingface 数据集仓库](https://huggingface.co/lmms-lab)

# 本数据集
本数据集为[COCO-Caption-2017版本](https://cocodataset.org/#home)的格式化版本，被应用于我们的`lmms-eval`评测流程中，可实现大规模多模态模型的一键式评测。

@misc{lin2015microsoft,
title={Microsoft COCO: Common Objects in Context},
author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
year={2015},
eprint={1405.0312},
archivePrefix={arXiv},
primaryClass={cs.CV}
}

原始信息汇总

数据集概述

数据集信息

特征

• question_id: 字符串类型
• image: 图像类型
• question: 字符串类型
• answer: 字符串序列
• id: 64位整数类型
• license: 8位整数类型
• file_name: 字符串类型
• coco_url: 字符串类型
• height: 32位整数类型
• width: 32位整数类型
• date_captured: 字符串类型

数据分割

• val:
  • 字节数: 788752747.0
  • 样本数: 5000
• test:
  • 字节数: 6649116198.0
  • 样本数: 40670

数据大小

• 下载大小: 7444321699
• 数据集大小: 7437868945.0

配置

• default:
  • val: data/val-*
  • test: data/test-*

数据集来源

• 该数据集是COCO-Caption-2017-version的格式化版本，用于lmms-eval流水线中，以便一键评估大型多模态模型。

搜集汇总

背景与挑战

背景概述

This dataset is a curated collection of image-caption pairs from COCO-Caption-2017, optimized for evaluating multi-modality models. It includes diverse images each paired with multiple descriptive captions, facilitating comprehensive model assessment in image understanding and caption generation tasks.