floschne/maxm

MaXM数据集是一个用于多语言视觉问答任务的数据集，支持英语、法语、印地语、罗马尼亚语、泰语、希伯来语和中文。数据集包含了来自XM3600图像的标题和图像区域信息。数据集的特征包括图像ID、图像URL、图像数据、图像区域、图像标题、问题ID、问题、答案、处理后的答案、语言、是否为集合和方法。数据集的大小在1K到10K之间，具体分割信息包括不同语言的字节数和示例数。

The MaXM Dataset is a specialized dataset for multilingual visual question answering (VQA) tasks, supporting seven languages: English, French, Hindi, Romanian, Thai, Hebrew, and Chinese. It comprises captions and image region information sourced from the XM3600 images. The core features of the dataset include image ID, image URL, image data, image regions, image captions, question ID, question, answer, processed answer, language, set indicator, and method. The scale of the dataset ranges from 1K to 10K instances, with specific split details covering the byte count and sample quantity for each supported language.

原始信息汇总

MaXM 数据集概述

数据集基本信息

• 名称: MaXM
• 任务类别: 视觉问答 (visual-question-answering)
• 语言: 英语 (en), 法语 (fr), 印地语 (hi), 罗马尼亚语 (ro), 泰语 (th), 希伯来语 (he), 中文 (zh)
• 大小类别: 1K<n<10K

数据集特征

• image_id: 字符串类型
• image_url: 字符串类型
• image: 结构体类型，包含以下字段:
  • bytes: 二进制类型
  • path: 字符串类型
• image_locale: 字符串类型
• image_captions: 字符串序列
• question_id: 字符串类型
• question: 字符串类型
• answers: 字符串序列
• processed_answers: 字符串序列
• language: 字符串类型
• is_collection: 布尔类型
• method: 字符串类型

数据集拆分

• hi: 260个样本, 23640810字节
• th: 268个样本, 23960076字节
• zh: 277个样本, 24634226字节
• fr: 264个样本, 23188830字节
• en: 257个样本, 23067651字节
• iw: 280个样本, 25044532字节
• ro: 284个样本, 26229952字节

数据集大小

• 下载大小: 106887693字节
• 数据集大小: 169766077字节

配置信息

• 默认配置:
  • hi: data/hi-*
  • th: data/th-*
  • zh: data/zh-*
  • fr: data/fr-*
  • en: data/en-*
  • iw: data/iw-*
  • ro: data/ro-*

搜集汇总

数据集介绍

构建方式

MaXM数据集由Google LLC构建，旨在推动多语言视觉问答（VQA）领域的发展。该数据集基于XM3600图像资源，通过为每张图像添加来自相应语言区域的描述性标题和本地化信息，形成了覆盖英语、法语、印地语、罗马尼亚语、泰语、希伯来语和中文七种语言的多模态语料库。每个样本包含图像标识符、URL、二进制图像数据、问题、答案序列以及处理后的答案文本，并通过语言标签和是否为集合的布尔字段进行精细标注。数据集按语言划分为七个子集，每个子集包含260至284个样本，整体规模适中，便于开展跨语言视觉理解研究。

特点

MaXM数据集的核心特色在于其多语言与多模态的深度融合。它提供了来自不同语言区域的图像，并配有相应语言的自然语言问题和答案，使得模型能够在跨文化视觉场景下学习语言与图像的对应关系。数据集中的图像标题和本地化信息进一步丰富了上下文，支持更复杂的视觉问答任务。此外，每个样本包含原始答案和处理后的答案，便于进行答案归一化和评估。规模上，每个语言子集样本数接近，保证了跨语言比较的公平性，同时整体数据量精简，适合快速迭代实验。

使用方法

使用MaXM数据集时，可通过Hugging Face的datasets库加载。由于已知的技术限制，图像不能直接以PIL Image格式存储，而需通过dataset.Image类型进行转换。用户需调用load_dataset函数获取指定语言子集（如'en'），然后利用map函数结合Image().decode_example方法将二进制图像解码为可用格式，并重命名列以恢复标准图像字段。数据集支持常规的VQA模型训练与评估流程，研究人员可基于其多语言特性，设计跨语言视觉推理任务，或作为多模态预训练模型的微调数据。

背景与挑战

背景概述

多语言视觉问答是自然语言处理与计算机视觉交叉领域的前沿方向，旨在使模型能够理解不同语言提出的图像相关问题并给出准确回答。MaXM数据集由Google Research团队于2023年创建，主要研究人员包括Soravit Changpinyo、Linting Xue等，其核心研究问题在于填补现有视觉问答数据集在语言多样性上的空白。该数据集覆盖英语、法语、印地语、罗马尼亚语、泰语、希伯来语和中文七种语言，包含超过2000个精心标注的样本，每个样本均关联来自XM3600数据集的图像描述与区域信息。MaXM的发布为跨语言视觉推理研究提供了标准化基准，显著推动了多模态模型在多语言场景下的评估与优化，对促进全球范围内包容性人工智能技术的发展具有里程碑意义。

当前挑战

MaXM数据集面临的挑战主要集中在多语言视觉问答的领域难题与构建过程两方面。在领域层面，模型需应对不同语言间语法结构、文化背景的显著差异，例如在同一图像上，英语提问可能侧重物体识别，而泰语提问则关注动作描述，这种语义鸿沟给跨语言对齐带来困难。此外，数据集中部分语言样本数量有限（如印地语仅260例），导致模型在低资源语言上泛化能力不足。在构建过程中，研究人员需确保七种语言的问题与答案在语义上等价且符合本地语言习惯，这要求标注团队具备深度语言文化知识。同时，从原始XM3600图像中筛选适配的视觉内容并保持多语言答案的一致性，也增加了数据清洗与质量控制的复杂度。

常用场景

经典使用场景

MaXM数据集专为多语言视觉问答（Visual Question Answering, VQA）而设计，其核心应用场景在于评估和提升视觉语言模型在跨语言环境下的理解与推理能力。该数据集涵盖了英语、法语、印地语、罗马尼亚语、泰语、希伯来语和中文七种语言，每张图像均配有对应语种的自然语言问题与答案，为研究者在多语言视觉语义对齐、跨模态信息融合以及低资源语言视觉推理等方向提供了标准化的评测基准。通过这一数据集，研究者能够系统性地探究模型在面对不同语言文化背景下的视觉内容时，如何准确捕捉图像细节并生成符合语境的回答，从而推动多语言视觉问答技术的边界拓展。

衍生相关工作

MaXM数据集的发布催生了一系列具有影响力的后续研究工作。其原始论文《MaXM: Towards Multilingual Visual Question Answering》首次系统性地提出了多语言VQA的构建方法与评测框架，并揭示了现有模型在非英语语言上的显著性能衰退。在此基础上，研究者进一步探索了基于大规模多语言视觉语言预训练的方法，如通过扩展训练语料或引入跨语言对比学习策略来增强模型的跨语言迁移能力。此外，MaXM还常被用作评估多模态大语言模型（如LLaVA、BLIP-2等）在多语言场景下零样本与少样本表现的基准数据集，推动了多语言多模态领域从模型架构到训练范式的持续创新。

数据集最近研究

最新研究方向

MaXM数据集作为多语言视觉问答（VQA）领域的突破性资源，正推动着跨语言视觉理解研究的前沿。该数据集覆盖英语、法语、印地语、泰语、希伯来语、罗马尼亚语及中文等七种语言，每个语言包含250至290个高质量样本，其设计紧密关联当前多模态大模型在低资源语言场景下的泛化能力挑战。近期研究聚焦于利用MaXM评估和提升视觉语言模型在非英语环境中的零样本迁移表现，尤其在图像描述与问答对齐任务中，数据集提供的多语言图像描述（源自XM3600）与本地化标注成为关键基准。这一方向与全球人工智能包容性发展的热点事件相呼应，如联合国教科文组织倡导的多语言AI伦理指南，凸显了MaXM在打破语言壁垒、促进文化多样性技术落地中的深远意义——它不仅为多模态模型在医疗、教育等领域的公平部署提供了验证基石，更推动了跨语言视觉推理从理论探索向实际应用的实质性跨越。