StickerTAG

StickerTAG是首个多标签贴纸数据集，由哈尔滨工业大学深圳分校等机构创建，包含461个标签和13,571对贴纸-标签注释，旨在深入理解贴纸的多重含义。数据集通过严格的标签构建和贴纸注释过程创建，涵盖了丰富的情感和对话词汇，反映了贴纸在实际对话中的多样性。该数据集适用于提升贴纸在多标签识别任务中的应用，特别是在需要精确区分贴纸细微含义的场景中。StickerTAG is the first multi-label sticker dataset developed by Harbin Institute of Technology, Shenzhen (HIT Shenzhen) and other institutions. It consists of 461 labels and 13,571 sticker-label annotation pairs, aiming to provide in-depth insights into the multiple connotations of stickers. The dataset is constructed through rigorous label construction and sticker annotation procedures, covering abundant emotional and conversational vocabulary, which reflects the diversity of stickers in real-world conversations. This dataset is suitable for enhancing the application of stickers in multi-label recognition tasks, particularly in scenarios requiring precise differentiation of the subtle meanings of stickers.

搜集汇总

数据集介绍

构建方式

在贴纸多标签识别研究领域，StickerTAG数据集的构建体现了严谨的系统化流程。其标签体系源于知名中文贴纸仓库的关键词集合，通过Jieba分词与TF-IDF特征提取后，采用K-means聚类算法结合肘部法则确定最优聚类数量，最终由领域专家对聚类结果进行统一命名与校验，形成包含461个语义标签的标准化集合。贴纸收集阶段通过搜狗、百度等输入法进行关键词检索，并对动态格式进行关键帧提取与内容过滤，确保数据质量。标注环节采用三重标注者独立标注机制，仅当至少两位标注者达成一致时标签才被采纳，有效保障了标注结果的可靠性与一致性，最终构建出包含13,571个贴纸-标签对的高质量数据集。

特点

StickerTAG数据集在贴纸语义理解领域展现出鲜明的特征。作为首个面向多标签识别的贴纸数据集，其标签体系覆盖情感表达、动作描述、角色特征等多维度语义，呈现细粒度属性感知特性。数据分布呈现典型的长尾形态，约47.45%的贴纸仅关联单个标签，而部分贴纸最多可关联六个标签，平均标签长度为3.10个词汇，体现了真实场景中贴纸语义的复杂性与多样性。标签云分析显示，高频标签多集中于情感表达与日常对话场景，这种分布特征精准反映了贴纸在即时通讯中的实际使用模式，为研究细粒度语义理解提供了丰富的样本基础。

使用方法

该数据集适用于贴纸多标签识别任务的模型训练与评估。研究使用时需按照8:1:1的比例划分训练集、验证集与测试集，确保模型性能评估的可靠性。基于该数据集提出的Att2PL方法展示了典型的使用范式：首先通过多模态大语言模型生成内容、风格、角色、动作四个维度的属性描述；继而利用局部重注意力模块捕捉贴纸关键区域特征；随后采用提示学习机制将属性描述初始化为软提示，结合图像特征进行多标签预测；最终通过置信度惩罚优化提升模型区分能力。评估指标应涵盖类别平均精度、召回率、F1值及整体精度、召回率、F1值，并综合考虑Top-1、Top-3、Top-5等多维度性能表现。

背景与挑战

背景概述

随着数字通信的普及，表情贴纸已成为日常交流中不可或缺的多模态表达工具，其丰富的语义多样性和上下文依赖性对计算理解提出了更高要求。在此背景下，哈尔滨工业大学（深圳）、香港中文大学等机构的研究团队于2024年推出了StickerTAG数据集，这是首个专注于多标签表情贴纸识别的大规模标注数据集。该数据集包含461个精细定义的标签和13,571个贴纸-标签对，旨在解决表情贴纸在真实对话场景中因用户主观解读差异而导致的语义模糊问题，推动多模态情感分析与细粒度视觉理解研究的发展。

当前挑战

StickerTAG数据集所应对的核心领域挑战在于多标签表情贴纸识别，这要求模型能够精准捕捉贴纸中蕴含的细微视觉属性和复杂语义，以区分高度相似的情感或动作标签，例如区分“偷看”与“窥视”等近义概念。在构建过程中，研究团队面临标签体系设计的复杂性，需从海量贴纸库中通过聚类与专家审核提炼出代表性标签；同时，标注阶段因贴纸解读的主观性较强，需采用多人标注与一致性校验机制来保证标注质量，并处理数据中存在的长尾分布问题，确保模型在少数类别上的识别能力。

常用场景

经典使用场景

在即时通讯与社交媒体领域，贴纸已成为表达情感与意图的重要载体。StickerTAG数据集通过提供461个精细标签与13,571个贴纸-标签对，为多标签贴纸识别任务奠定了数据基础。其经典使用场景在于支持模型学习贴纸的多样化语义，例如同一贴纸可能同时承载“不忍直视”、“我什么都没看见”等多种情感标签，从而推动计算模型在复杂语境下实现精准的多标签分类与理解。

衍生相关工作

StickerTAG的发布催生了多项围绕多标签贴石识别的创新研究。其提出的Attentive Attribute-oriented Prompt Learning (Att2PL)方法，融合了属性导向描述生成与局部重注意力机制，为后续工作提供了重要基线。相关衍生研究包括基于Transformer架构的细粒度视觉特征提取方法、结合多模态大语言模型的贴石语义增强技术，以及在长尾分布场景下优化多标签分类性能的算法改进，这些工作共同推动了贴石分析领域向更实用、更精细的方向发展。

数据集最近研究

最新研究方向

在数字通信领域，表情贴纸已成为情感表达的重要媒介，其多义性与上下文依赖性对理解提出了更高要求。StickerTAG数据集的推出，首次为多标签贴纸识别任务提供了系统性的研究基础，涵盖了461个精细标签和13,571个贴纸-标签对，推动了贴纸分析从单一情感分类向细粒度语义理解的范式转变。当前前沿研究聚焦于结合多模态大语言模型与注意力机制，如论文提出的Attentive Attribute-oriented Prompt Learning方法，通过属性导向的描述生成与局部重注意力模块，精准捕捉贴纸在内容、风格、角色和动作上的细微特征，以应对标签间的语义模糊性与长尾分布挑战。这一方向不仅提升了贴纸在即时通讯中的智能推荐体验，也为多标签视觉识别任务提供了新的技术路径，具有显著的学术价值与应用潜力。

相关研究论文

• Towards Real-World Stickers Use: A New Dataset for Multi-Tag Sticker Recognition

  哈尔滨工业大学深圳分校 · 2024年