Greeting Cards Dataset (GCD)

Greeting Cards Dataset (GCD)是由天普大学开发的一个多模态数据集，专注于抽象视觉概念。该数据集包含超过3700张贺卡的封面图像、封面文本和类别标签，涵盖节日、特殊场合和信息三大类别。数据集的创建过程涉及从在线贺卡公司SignedCards.com获取数据，并由工程师手动提取文本和分配抽象标签。GCD数据集的应用领域包括计算机视觉研究，特别是非自然图像的分类和检索，以及通过预训练模型生成贺卡图像。

Greeting Cards Dataset (GCD) is a multimodal dataset developed by Temple University, dedicated to abstract visual concepts. It contains over 3,700 sets of greeting card cover images, cover texts and category labels, covering three major categories: festivals, special occasions and informational messages. The dataset construction process involves acquiring data from the online greeting card company SignedCards.com, followed by manual text extraction and abstract label assignment by engineers. Application scenarios of the GCD dataset include computer vision research, particularly classification and retrieval of non-natural images, as well as greeting card image generation using pre-trained models.

搜集汇总

数据集介绍

构建方式

在计算机视觉与自然语言处理交叉领域，多模态数据集的研究日益深入。然而，现有数据集多聚焦于自然图像与简单文本配对，对抽象视觉概念的探索尚显不足。为此，我们构建了Greeting Cards Dataset (GCD)，该数据集源自在线贺卡公司SignedCards.com，包含超过3700张独特的贺卡图像及其封面文本。每张贺卡由封面图像、封面文本和抽象标签三个信息实体构成，标签分为Holidays、Special Occasion和Messages三大类，并由工程师手动标注。图像多为人工创作，涵盖绘画、漫画、剪贴画、卡通和素描等非自然图像类型，为抽象概念研究提供了独特的数据源。

特点

GCD数据集在计算机视觉领域展现出鲜明的独特性。首先，其图像内容具有高度抽象性，视觉对象外观独特，缺乏同类数据集中的重复模式，且包含大量卡通化和合成图像，呈现出显著的类内方差。其次，数据集规模较小且分布不均衡，各子类别图像数量差异明显，这对传统监督学习算法构成严峻挑战。此外，每个数据点均包含图像、文本和抽象标签三重模态信息，其中文本信息对于区分视觉相似但语义不同的贺卡（如母亲节与父亲节）至关重要。这种多模态、小样本、抽象化的特性，使得GCD成为评估和推动预训练模型在非自然图像领域表现力的理想基准。

使用方法

GCD数据集适用于多模态学习中的分类、检索与生成任务。在特征提取层面，推荐使用预训练的CLIP视觉Transformer和Universal Sentence Encoder (USE)分别对图像和文本进行编码，并通过线性卷积层融合二者特征，学习文本修正的图像嵌入φim(R−text)，以消除冗余信息并增强互补性。该嵌入可结合三元组损失进行端到端训练，用于K近邻分类或图神经网络构建。此外，数据集支持利用预训练CLIPCap模型生成图像描述，并借助GLIDE等文本到图像生成模型，从封面文本或描述中生成新的贺卡图像。数据集按80%训练、20%测试比例随机划分，适用于跨模态检索与抽象概念分类的实验评估。

背景与挑战

背景概述

多模态学习领域近年来蓬勃发展，图像与文本的联合表征成为计算机视觉研究的核心方向之一。然而，现有大规模多模态数据集如MS-COCO和Flickr30K主要聚焦于自然图像中的具体物体，对于蕴含抽象概念的非自然图像探索甚少。在此背景下，Temple University的Sidra Hanif与Longin Jan Latecki于2022年提出了Greeting Cards Dataset（GCD），这是一个由在线贺卡公司SignedCards.com提供的独特多模态数据集。该数据集包含3700余张贺卡，每张卡片由封面图像、封面文本和抽象类别标签（如节日、特殊场合和讯息）三要素构成。GCD的核心研究问题在于如何利用预训练模型从图像和文本的弱监督标注中学习抽象视觉概念，其影响力在于填补了非自然图像多模态学习的空白，为情感化、概念化视觉理解开辟了新路径。

当前挑战

GCD数据集面临多重挑战。首先，在领域问题层面，现有图像分类算法主要针对自然图像，而GCD中的图像多为人类创作的绘画、漫画、剪贴画等非自然图像，具有极高的类内方差，且视觉对象外观独特、缺乏重复性，导致传统监督学习方法难以学习泛化表征。其次，数据集规模较小且类别分布极不均衡，如图2所示，部分子类别样本稀疏，进一步加剧了模型训练的难度。在构建过程中，挑战在于如何从贺卡中准确提取封面文本并分配抽象类别标签，这一过程依赖人工标注，存在主观性。此外，图像与文本模态间信息冗余与互补性并存，如何有效融合多模态特征以捕捉抽象语义，成为算法设计的核心难题。

常用场景

经典使用场景

在计算机视觉与自然语言处理的交叉领域，多模态学习已成为研究热点，然而现有数据集多聚焦于自然图像与文本的配对。Greeting Cards Dataset (GCD) 则独辟蹊径，专注于抽象视觉概念的理解与分类。该数据集由来自在线贺卡公司的封面图像、封面文本及抽象标签（如节日、特殊场合、信息类别）构成，图像多为人工创作的绘画、漫画、剪贴画等非自然图像。GCD的经典使用场景在于多模态特征融合下的抽象概念分类任务，研究者利用预训练的CLIP视觉编码器与Universal Sentence Encoder文本编码器提取特征，并通过学习残差特征聚合方法得到文本修正的图像嵌入，从而实现对高度抽象、类内方差极大的贺卡图像进行精准分类。

衍生相关工作

围绕GCD数据集，衍生出一系列具有影响力的研究工作。在特征融合方面，研究者借鉴了TIRG（Composing Text and Image for Image Retrieval）的架构思想，但摒弃了其基于ResNet和LSTM的特征提取方式，转而采用更强大的CLIP与USE预训练模型，并创新性地提出通过线性卷积层与残差学习来优化多模态特征的组合，从而提升了分类准确率。在图像描述生成领域，CLIPCAP模型被成功应用于GCD，为每张贺卡生成贴合视觉内容的自然语言描述。此外，基于扩散模型的文本到图像生成工作（如GLIDE）也以GCD为数据源，探索了从文字提示生成抽象风格贺卡图像的可能性，进一步拓展了多模态生成式模型在创意产业中的应用边界。

数据集最近研究

最新研究方向

在计算机视觉与自然语言处理交叉领域，多模态数据集的研究日益聚焦于抽象概念的理解与生成，而Greeting Cards Dataset (GCD)的出现填补了这一空白。该数据集以非自然图像（如卡通、手绘）为核心，结合封面文字与抽象标签（如节日、特殊场合），挑战了传统算法对高类内差异与稀疏数据的处理能力。前沿研究方向主要围绕弱监督特征聚合，通过结合CLIP视觉编码器与Universal Sentence Encoder (USE)文本编码器，学习文本修正的图像嵌入，以捕捉情感与抽象语义。此外，基于预训练CLIP的图像描述模型（如ClipCap）和扩散模型（如GLIDE）被用于生成贺卡图像，推动文本到图像生成在创意设计领域的应用。这一研究不仅拓展了多模态学习在抽象视觉概念上的边界，还为个性化内容生成与情感计算提供了新范式，具有显著的实际应用价值。

相关研究论文

• Weakly Supervised Annotations for Multi-modal Greeting Cards Dataset

  天普大学 · 2022年