SBU Captions Dataset

我们使用大量带字幕的照片集开发并演示了自动图像描述方法。一项贡献是我们用于自动收集这个新数据集的技术——执行大量 Flickr 查询，然后将嘈杂的结果过滤到 100 万张带有相关视觉相关说明的图像。这样的集合使我们能够使用相对简单的非参数方法来解决极具挑战性的描述生成问题，并产生令人惊讶的有效结果。我们还开发了结合许多最先进但相当嘈杂的图像内容估计方法，以产生更令人满意的结果。最后，我们介绍了一种新的图像字幕客观性能度量。

We developed and demonstrated automatic image captioning methods using a large corpus of caption-containing photographs. One contribution is our technique for automatically collecting this new dataset: executing extensive Flickr queries, then filtering the noisy results to obtain 1 million images with relevant visually aligned descriptions. Such a corpus enables us to solve the highly challenging caption generation problem using relatively simple non-parametric methods, yielding surprisingly effective results. We also developed approaches that combine numerous state-of-the-art but fairly noisy image content estimation methods to produce more satisfactory outcomes. Finally, we introduce a novel objective performance metric for image captioning.

搜集汇总

背景与挑战

背景概述

SBU Captions Dataset是一个由石溪大学于2011年发布的大规模图像字幕数据集，包含约100万张从Flickr自动收集并过滤的图像，每张图像配有相关的视觉说明。该数据集主要用于图像描述生成方法的研究和预训练，并引入了新的图像字幕性能度量，支持计算机视觉和自然语言处理任务。