ArtELingo-28

ArtELingo-28是由阿卜杜拉国王科技大学创建的一个视觉语言基准数据集，涵盖了28种语言，包含约200,000个标注。该数据集基于WikiArt图像，每张图像有约140个情感标签和多语言描述，旨在捕捉不同语言和文化背景下的主观情感差异。数据集的创建过程涉及220名来自23个国家的标注者，通过Amazon Mechanical Turk平台进行标注。ArtELingo-28主要用于评估机器学习系统在多语言环境下的情感标注能力，旨在解决跨文化情感理解和表达的问题。ArtELingo-28 is a visual-language benchmark dataset developed by King Abdullah University of Science and Technology, encompassing 28 languages and housing approximately 200,000 annotated instances. Built upon WikiArt images, each image in the dataset is associated with roughly 140 emotional labels and multilingual descriptions, with the goal of capturing subjective emotional disparities across diverse linguistic and cultural backgrounds. The dataset's annotation process recruited 220 annotators from 23 countries, who conducted the annotation tasks via the Amazon Mechanical Turk platform. ArtELingo-28 is primarily utilized to evaluate the emotional annotation performance of machine learning systems in multilingual settings, targeting the resolution of challenges related to cross-cultural emotional understanding and expression.

搜集汇总

数据集介绍

构建方式

ArtELingo-28数据集的构建基于WikiArt平台上的2000幅图像，通过Amazon Mechanical Turk和aiXplain等平台招募了来自23个国家的220名母语标注者。这些标注者被要求在仔细观察图像后，从8种情感标签中选择最主要的情感，并提供相应的情感解释。此外，标注者还可以选择“其他”选项，如果他们的感受与提供的8种情感不符。每幅图像由五名不同的标注者进行标注，确保了情感和语言多样性的充分体现。

特点

ArtELingo-28数据集的显著特点在于其跨语言和跨文化的多样性。该数据集涵盖了28种语言，包括多种低资源语言，如非洲、东南亚和南亚的语言。每幅图像平均有140条标注，这些标注不仅包括情感标签，还有详细的情感解释，反映了不同文化和语言背景下对艺术作品的多样化解读。

使用方法

ArtELingo-28数据集主要用于评估和训练多语言情感图像描述生成模型。研究者可以使用该数据集进行零样本、少样本和一对一零样本等多种实验设置，以测试模型在不同语言和文化背景下的泛化能力。此外，数据集还可用于研究跨语言情感转移和文化差异对情感感知的影响，为构建更加通用和包容的视觉语言模型提供支持。

背景与挑战

背景概述

ArtELingo-28数据集由KAUST、牛津大学和东北大学的研究人员共同创建，旨在解决视觉与语言研究中多语言多样性的缺失问题。该数据集于2024年发布，包含来自WikiArt的2000幅图像，每幅图像附有28种语言的情感标签和文本解释，总计约20万条注释。其核心研究问题在于构建能够跨语言和文化多样性进行情感图像描述的机器学习系统。ArtELingo-28不仅扩展了多语言覆盖范围，还强调了文化背景对情感表达的影响，对多模态AI领域具有重要影响力。

当前挑战

ArtELingo-28数据集面临的主要挑战包括：1) 构建过程中需要克服多语言注释的复杂性，特别是对于低资源语言的注释获取和质量控制；2) 数据集旨在解决情感图像描述的跨文化差异问题，这要求模型能够理解和适应不同文化背景下的情感表达；3) 数据集的多样性和大规模注释增加了模型训练和评估的复杂性，特别是在零样本和少样本学习场景下，模型的跨语言迁移能力面临严峻考验。

常用场景

经典使用场景

ArtELingo-28数据集的经典使用场景在于其跨语言和跨文化的情感标注能力。该数据集通过在28种不同语言中对WikiArt图像进行情感标签和文本解释的标注，为视觉与语言研究提供了一个多元化的基准。其核心任务是构建能够为图像分配情感标注的机器学习系统，特别是在零样本、少样本和一对多零样本设置下的表现评估。

衍生相关工作

ArtELingo-28数据集的发布催生了一系列相关研究工作，特别是在多模态学习和跨语言情感分析领域。例如，基于该数据集的零样本和少样本学习方法研究，以及一对多零样本设置下的模型评估，都取得了显著进展。此外，该数据集还激发了对多语言大语言模型（MLLMs）在视觉与语言理解任务中应用的探索，推动了通用视觉语言模型的跨语言能力研究。

数据集最近研究

最新研究方向

在视觉与语言研究领域，ArtELingo-28数据集的最新研究方向聚焦于多语言情感图像描述生成。该数据集通过引入28种语言的情感标签和描述，强调了跨语言和文化多样性的重要性。研究者们致力于构建能够跨语言生成情感描述的机器学习系统，特别是在零样本、少样本和一对多零样本设置下进行评估。这些研究不仅推动了多语言情感理解的前沿，还揭示了文化背景对情感感知和表达的影响，为构建更具包容性和文化敏感性的视觉语言模型奠定了基础。

相关研究论文

• No Culture Left Behind: ArtELingo-28, a Benchmark of WikiArt with Captions in 28 Languages

  阿卜杜拉国王科技大学 · 2024年