lmms-lab/flickr30k

---
dataset_info:
features:
- name: image
dtype: image
- name: caption
sequence: string
- name: sentids
sequence: string
- name: img_id
dtype: string
- name: filename
dtype: string
splits:
- name: test
num_bytes: 4190829605.876
num_examples: 31783
download_size: 4409506758
dataset_size: 4190829605.876
configs:
- config_name: default
data_files:
- split: test
path: data/test-*
---

<p align="center" width="100%">
<img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%">
</p>

# Large-scale Multi-modality Models Evaluation Suite

> Accelerating the development of large-scale multi-modality models (LMMs) with `lmms-eval`

🏠 [Homepage](https://lmms-lab.github.io/) | 📚 [Documentation](docs/README.md) | 🤗 [Huggingface Datasets](https://huggingface.co/lmms-lab)

# This Dataset

This is a formatted version of [flickr30k](https://shannon.cs.illinois.edu/DenotationGraph/). It is used in our `lmms-eval` pipeline to allow for one-click evaluations of large multi-modality models.

```
@article{young-etal-2014-image,
title = "From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions",
author = "Young, Peter and
Lai, Alice and
Hodosh, Micah and
Hockenmaier, Julia",
editor = "Lin, Dekang and
Collins, Michael and
Lee, Lillian",
journal = "Transactions of the Association for Computational Linguistics",
volume = "2",
year = "2014",
address = "Cambridge, MA",
publisher = "MIT Press",
url = "https://aclanthology.org/Q14-1006",
doi = "10.1162/tacl_a_00166",
pages = "67--78",
abstract = "We propose to use the visual denotations of linguistic expressions (i.e. the set of images they describe) to define novel denotational similarity metrics, which we show to be at least as beneficial as distributional similarities for two tasks that require semantic inference. To compute these denotational similarities, we construct a denotation graph, i.e. a subsumption hierarchy over constituents and their denotations, based on a large corpus of 30K images and 150K descriptive captions.",
}
```

数据集信息:
特征字段:
- 名称: 图像（image）
数据类型: 图像
- 名称: 描述文本（caption）
序列类型: 字符串
- 名称: 句子ID（sentids）
序列类型: 字符串
- 名称: 图像ID（img_id）
数据类型: 字符串
- 名称: 文件名（filename）
数据类型: 字符串
划分集:
- 名称: 测试集（test）
字节占用: 4190829605.876
样本数量: 31783
下载大小: 4409506758
数据集总占用大小: 4190829605.876
配置项:
- 配置名称: 默认配置（default）
数据文件:
- 划分集: 测试集
路径: data/test-*

<p align="center" width="100%">
<img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%">
</p>

# 大规模多模态模型评测套件

> 借助`lmms-eval`加速大规模多模态模型（Large-scale Multi-modality Models, LMMs）的研发

🏠 [项目主页](https://lmms-lab.github.io/) | 📚 [文档说明](docs/README.md) | 🤗 [Huggingface数据集仓库](https://huggingface.co/lmms-lab)

## 本数据集

本数据集是[flickr30k](https://shannon.cs.illinois.edu/DenotationGraph/)的格式化版本，可集成于我们的`lmms-eval`评测流水线，实现大规模多模态模型的一键式评测。

@article{young-etal-2014-image,
标题 = "从图像描述到视觉指称：面向事件描述语义推理的新型相似度指标",
作者 = "Young, Peter 及 Lai, Alice 及 Hodosh, Micah 及 Hockenmaier, Julia",
编辑 = "Lin, Dekang 及 Collins, Michael 及 Lee, Lillian",
期刊 = "《计算语言学协会汇刊》（Transactions of the Association for Computational Linguistics）",
卷号 = "2",
年份 = "2014",
出版地 = "马萨诸塞州剑桥市",
出版社 = "麻省理工学院出版社（MIT Press）",
链接 = "https://aclanthology.org/Q14-1006",
DOI = "10.1162/tacl_a_00166",
页码 = "67--78",
摘要 = "我们提出利用语言表达式的视觉指称（即其描述的图像集合）来定义新型指称相似度指标，经实验验证，针对两类需要语义推理的任务，该指标至少与分布相似度指标同样有效。为计算此类指称相似度，我们基于包含3万张图像与15万条描述性标题的大型语料库，构建了指称图，即针对成分及其指称的包含层次结构。"
}

原始信息汇总

数据集概述

数据集特征

• image：图像数据，数据类型为图像。
• caption：描述文本，数据类型为字符串序列。
• sentids：句子标识，数据类型为字符串序列。
• img_id：图像ID，数据类型为字符串。
• filename：文件名，数据类型为字符串。

数据集分割

• test：测试集，包含31783个样本，总大小为4190829605.876字节。

数据集大小

• 下载大小：4409506758字节
• 数据集总大小：4190829605.876字节

配置

• config_name：default
• data_files：
  • split：test
  • path：data/test-*

搜集汇总

背景与挑战

背景概述

flickr30k是一个多模态数据集，包含图像和文本描述，用于评估大规模多模态模型。数据集包含31,783个图像，每个图像配有五个描述性标题，支持一键评估流程。