Conceptual Captions

自动图像字幕是生成正确反映图像视觉内容的自然语言话语（通常是句子）的任务。到目前为止，此任务最常用的资源是 MS-COCO 数据集，其中包含大约 120,000 张图像和 5 路图像标题注释（由付费注释者生成）。谷歌的概念字幕数据集有超过 300 万张图像，搭配自然语言字幕。与 MS-COCO 图像的策划风格相比，概念字幕图像及其原始描述是从网络上获取的，因此代表了更广泛的风格。原始描述是从与 Web 图像关联的 Alt-text HTML 属性中获取的。作者开发了一个自动管道，用于提取、过滤和转换候选图像/字幕对，目标是在生成的字幕的清洁度、信息量、流畅度和可学习性之间取得平衡。