RedCaps

我们引入RedCaps-从Reddit收集的12m图像文本对的大规模数据集。Reddit的图像和标题描绘并描述了各种各样的对象和场景。我们从手动策划的一组子reddits中收集数据，这些子reddits提供了粗略的图像标签，并允许我们在不标记单个实例的情况下引导数据集组成。我们证明，在RedCaps上训练的字幕模型会产生人类偏爱的丰富多样的字幕，并学习转移到许多下游任务的视觉表示。

We introduce RedCaps, a large-scale dataset of 12 million image-text pairs collected from Reddit. The images and their accompanying captions on Reddit depict and describe a wide range of objects and scenes. We collect data from a manually curated set of subreddits, which provide coarse-grained image labels and enable us to shape the dataset's composition without annotating individual instances. We demonstrate that captioning models trained on RedCaps generate rich, diverse captions favored by humans, and learn visual representations that transfer effectively to a wide range of downstream tasks.

搜集汇总

背景与挑战

背景概述

RedCaps是一个由密歇根大学于2021年发布的大规模图像-文本对数据集，包含约1200万对从Reddit收集的数据。该数据集通过手动策划的子reddits引导数据组成，用于训练字幕模型和视觉表示学习，以支持下游任务。