M5

M5数据集是由语言技术组Universität Hamburg和Microsoft Research India共同创建的，旨在评估大型多模态模型在多语言和文化背景下的视觉语言任务性能。该数据集包含八个子数据集，涉及五个不同的视觉语言任务，覆盖41种语言，特别关注了未被充分代表的语言和文化多样性。数据集的创建过程包括从全球各地收集文化多样性的图像，并通过专业母语者的标注确保数据质量。M5数据集主要用于研究大型多模态模型在非英语环境下的性能，特别是在非洲和亚洲等地区的应用。The M5 Dataset was jointly created by the Language Technology Group of Universität Hamburg and Microsoft Research India, with the aim of evaluating the performance of large multimodal models on vision-language tasks across multilingual and cultural contexts. This dataset comprises eight sub-datasets covering five distinct vision-language tasks, spans 41 languages, and places special emphasis on underrepresented languages and cultural diversity. The dataset construction process involves collecting culturally diverse images from across the globe, and ensures data quality through annotations by professional native speakers. The M5 Dataset is primarily used to study the performance of large multimodal models in non-English environments, especially for applications in regions such as Africa and Asia.

搜集汇总

数据集介绍

构建方式

M5数据集是一个多语言、多文化视觉语言任务的全面基准，旨在评估大型多模态模型（LMMs）的性能。该数据集包括八个数据集，涵盖五个任务和41种语言，重点关注代表性不足的语言和文化多样的图像。此外，M5还引入了两个新颖的数据集，M5-VGR和M5-VLOD，包括一个全新的视觉语言异常检测任务。数据集的构建过程涉及从现有数据集中选择和整合数据，并创建两个新数据集，以填补现有基准中代表性不足的语言和任务的空白。

特点

M5数据集的特点在于其多语言、多模态和多文化的性质。它涵盖了41种语言，包括16种不同的脚本和13个语言家族，确保了广泛的覆盖范围。数据集的视觉部分包括来自全球不同地区的文化多样性图像。此外，M5还引入了两个新颖的任务：视觉推理和视觉语言异常检测，这些任务在现有的多模态基准中是缺失的。

使用方法

M5数据集可用于评估和比较不同大型多模态模型在多语言和多文化视觉语言任务上的性能。研究者可以使用该数据集来训练和测试他们的模型，并分析模型在不同语言和文化背景下的表现。数据集提供了详细的文档和示例，以帮助用户了解如何使用数据集进行实验和评估。此外，M5还提供了代码库和数据集的公共发布，以促进未来研究的开展。

背景与挑战

背景概述

自然语言处理领域自ChatGPT发布以来，大型语言模型（LLMs）及其多模态对应物——大型多模态模型（LMMs）取得了快速进展。尽管LLMs展现出令人印象深刻的能力，但它们在不同语言和文化背景下表现出显著的性能差异。为了填补这一研究空白，M5数据集应运而生，它是第一个全面评估LMMs在多语言和多文化视觉语言任务中的性能的综合基准。M5包括涵盖五个任务和41种语言的八个数据集，重点关注未被充分代表的语言和文化多样的图像。此外，M5还引入了两个新的数据集，M5-VGR和M5-VLOD，包括一个新的视觉语言异常检测任务，其中所有评估的开源模型都无法显著超过随机基线。通过广泛的评估和分析，M5突出了高资源和低资源语言之间实质性的任务无关性能差异。此外，研究表明，在多语言环境中，更大的模型并不一定比较小的模型表现更好。

当前挑战

M5数据集面临的挑战包括：1) LLMs在不同语言和文化背景下表现出显著的性能差异；2) 构建过程中遇到了缺乏多语言和多文化基准的问题，导致无法评估LMMs的多语言能力；3) 在多语言环境中，更大的模型并不一定比较小的模型表现更好，这表明了需要更多样化的、多语言的训练数据和强大的架构；4) 当前研究中缺乏评估多语言图像描述的鲁棒指标，尤其是在非拉丁脚本语言方面；5) 在使用生成性语言模型进行问答任务时，评估模型的难度较大，因为模型可以输出任意标记序列，而黄金标签答案通常是有限的；6) 当前研究中的模型提示方法可能不是最优的，因为不同模型可能对特定的提示风格有不同的反应；7) 当前研究中使用的模型可能已经过时，因为NLP、计算机视觉和多模态机器学习的研究进展迅速；8) M5数据集引入的两个新数据集规模较小，这可能会影响结果的稳健性和泛化能力；9) M5数据集目前只包括五个文本图像任务，缺少其他适合的任务，如多模态和多语言摘要。

常用场景

经典使用场景

M5数据集是首个综合性的基准数据集，旨在评估大型多模态模型在多语言和多文化视觉语言任务中的性能。它包含了八个数据集，涵盖了五个任务和41种语言，特别关注了代表性不足的语言和文化多样的图像。此外，M5还引入了两个新的数据集，M5-VGR和M5-VLOD，包括一个全新的视觉语言异常检测任务，其中所有评估的开源模型都无法显著超过随机基线。

解决学术问题

M5数据集解决了当前研究中缺乏多模态多语言基准的问题，使得研究人员能够评估和测量当前大型多模态模型（LMMs）在各种语言之间的性能差异。它揭示了LMMs在非英语语言中的性能显著低于英语，并强调了使用多样化和多语言训练数据以及健壮架构的重要性。

衍生相关工作

M5数据集的引入促进了相关经典工作的衍生，包括但不限于：1) 开发新的评估指标和任务；2) 研究多模态模型的跨语言和多文化能力；3) 开发和应用多语言和多文化视觉语言任务中的模型。