Flickr Image

Flickr30k 数据集已成为基于句子的图像描述的标准基准。本文介绍了 Flickr30k 实体，它使用 244k 共指链增强了来自 Flickr30k 的 158k 字幕，将同一图像的不同字幕中提及的相同实体链接起来，并将它们与 276k 手动注释的边界框相关联。这种注释对于自动图像描述和基础语言理解的持续进步至关重要。它们使我们能够为图像中文本实体提及的本地化定义一个新基准。我们为这项任务提供了一个强大的基线，它结合了图像-文本嵌入、常见对象的检测器、颜色分类器以及对选择较大对象的偏见。

搜集汇总

背景与挑战

背景概述

Flickr30k数据集是基于句子的图像描述标准基准，其增强版Flickr30k Entities通过添加共指链和边界框注释，支持图像描述和语言理解任务。该数据集为文本实体提及的本地化提供了基准，并包含图像-文本嵌入等基线方法。