MTSE, MCCQ, MWTWT, MRUC, MTWQ

本研究创建了五个多模态立场检测数据集：MTSE、MCCQ、MWTWT、MRUC和MTWQ，基于Twitter数据，每个样本包含文本和图像。这些数据集涵盖了不同的领域和12个目标，总共有17,544个标注样本。数据集的创建旨在推动多模态立场检测的研究，特别是在社交媒体中通过文本和图像表达立场的研究。这些数据集的应用领域包括热点话题、政治人物和辩论等，旨在解决如何从多模态帖子中准确识别用户对特定目标的立场问题。

This study constructs five multimodal stance detection datasets—MTSE, MCCQ, MWTWT, MRUC, and MTWQ—derived from Twitter data, with each sample containing both textual content and image data. These datasets cover diverse domains and involve 12 target entities, totaling 17,544 annotated samples. The datasets are developed to advance research on multimodal stance detection, particularly studies exploring stance expression via both text and images on social media. Their application scenarios include hot topics, political figures, debates and more, aiming to address the challenge of accurately identifying users' stances toward specific targets from multimodal social media posts.

搜集汇总

数据集介绍

构建方式

本研究构建了五个基于Twitter的多模态立场检测数据集，分别为MTSE、MCCQ、MWTWT、MRUC和MTWQ。这些数据集涵盖了不同的领域，包括热点话题、政治人物等。每个数据集的示例都包含一个文本和一个图像，共包含17,544个标注数据条目。数据收集阶段，我们使用TweetScraper工具检索包含特定关键词的推文，并保留包含文本和至少一张图像或视频/GIF的帖子。对于视频/GIF，我们保留其第一帧。对于包含多张图像的帖子，我们将文本与每张图像结合形成多个样本。数据标注阶段，我们邀请了8位经验丰富的研究人员对每个示例的立场进行标注。每个样本将由三位不同的标注者进行标注，并采用多数票制来确定最终的金标签。对于三位标注者之间意见不一致的结果，我们邀请了三位额外的标注者进行标注，并进行多数票制以获得金标签。

使用方法

本研究提出了一种简单有效的目标多模态提示调整框架(TMPT)，用于处理多模态立场检测。TMPT框架包含四个主要组件：1) 文本提示调整，根据文本目标提示对输入的文本模态进行编码；2) 视觉提示调整，根据视觉目标提示对输入的视觉模态进行编码；3) 多模态融合，融合文本和视觉模态的特征表示，以捕获立场特征；4) 多模态立场检测，根据多模态立场特征为输入示例生成立场标签。使用TMPT框架进行多模态立场检测时，首先需要为每个目标设计文本目标提示和视觉目标提示。然后，将目标提示和输入的文本/图像输入到预训练的语言模型/视觉模型中，分别学习文本和视觉模态的立场特征。最后，将文本和视觉模态的特征表示进行融合，并通过全连接层和softmax函数生成立场标签的概率分布。

背景与挑战

背景概述

立场检测是社交媒体平台中一项重要的任务，旨在确定人们对特定目标、话题或命题的态度。随着社交媒体平台的发展，用户越来越多地通过多模态内容表达自己的立场，例如，同时发布文本和图片。为了应对这一趋势，研究人员创建了五个新的多模态立场检测数据集，分别为MTSE、MCCQ、MWTWT、MRUC和MTWQ，涵盖了不同领域的热门话题、政治人物等。这些数据集共包含17,544个标注数据，每个示例都包含一个文本和一个图像，为多模态立场检测研究提供了宝贵的数据资源。此外，研究人员还提出了一种简单而有效的目标多模态提示调整框架（TMPT），通过利用目标信息对预训练模型进行提示，从而学习多模态立场特征。实验结果表明，TMPT在多模态立场检测任务中取得了最先进的性能，为该领域的研究做出了重要贡献。

当前挑战

多模态立场检测面临着一些挑战。首先，如何有效地利用文本和图像两种模态的信息，以更准确地识别用户的立场是一个重要的问题。其次，构建多模态数据集需要大量的人工标注工作，这增加了数据集的构建成本。此外，如何将外部目标相关知识整合到多模态立场检测模型中，以提高模型的性能也是一个值得研究的方向。最后，当前版本的数据集未考虑音频模态和视频信息，这也是未来需要探索的问题。

常用场景

经典使用场景

MTSE, MCCQ, MWTWT, MRUC, MTWQ 五个数据集涵盖了不同领域，包括选举、COVID-19、商业并购、俄乌冲突和台湾问题。这些数据集由文本和图像组成，用于研究多模态立场检测，旨在从社交媒体平台上识别用户对特定目标的观点。例如，MTSE 数据集包含与 2020 年美国总统选举相关的文本和图像，可以用于分析公众对候选人特朗普和拜登的看法。

解决学术问题

这些数据集解决了传统的立场检测方法主要关注纯文本的局限性。随着社交媒体平台的发展，人们越来越多地通过多模态内容表达观点，例如文本和图像的结合。MTSE, MCCQ, MWTWT, MRUC, MTWQ 数据集提供了包含文本和图像的多模态数据，可以更准确地识别用户的真实观点。此外，这些数据集还解决了多模态立场检测中的零样本问题，即在没有目标领域数据的情况下进行立场检测。

实际应用

MTSE, MCCQ, MWTWT, MRUC, MTWQ 数据集在实际应用中具有广泛的应用前景。例如，它们可以用于社交媒体分析，帮助企业了解公众对其产品或服务的看法。此外，这些数据集还可以用于舆情监测，帮助政府机构了解公众对特定事件或政策的观点。此外，这些数据集还可以用于个性化推荐，根据用户的立场和观点推荐相关内容。

数据集最近研究

最新研究方向

多模态立场检测作为自然语言处理领域的前沿研究方向，旨在从社交媒体平台上提取公众意见。随着社交媒体平台的发展，人们越来越倾向于通过图文并茂的方式表达自己的观点，这使得传统的仅基于文本的立场检测方法难以准确地识别用户的真实立场。针对这一问题，MTSE、MCCQ、MWTWT、MRUC和MTWQ五个多模态立场检测数据集的创建，为多模态立场检测研究提供了重要的数据基础。同时，论文提出了一个简单而有效的目标多模态提示微调框架（TMPT），通过利用目标信息对预训练模型进行提示，从而学习不同模态的立场特征。实验结果表明，TMPT在多模态立场检测任务中取得了最先进的性能，为多模态立场检测研究提供了新的思路和方法。

相关研究论文

• Multi-modal Stance Detection: New Datasets and Model

  哈尔滨工业大学深圳研究院 · 2024年