MTVQA

MTVQA是首个针对多语言文本中心视觉问答（TEC-VQA）场景提供高质量人类专家标注的基准数据集。该数据集包含9种不同语言的28,607个问题-答案对，涵盖了从简单内容提取到文本相关推理的多样化问题类型。数据集中的图像来自真实世界，经过精心筛选和标注，确保视觉文本对齐。MTVQA旨在评估和提升多语言环境下AI模型在文本丰富场景中的理解和回答能力，特别关注低资源语言的处理，为全球社区提供了一个独特的多语言VQA资源。

MTVQA is the first high-quality human-annotated benchmark dataset for the multilingual Text-Centered Visual Question Answering (TEC-VQA) scenario. This dataset contains 28,607 question-answer pairs across 9 distinct languages, covering diverse question types ranging from simple content extraction to text-related reasoning. The images in the dataset are sourced from real-world scenarios, carefully filtered and annotated to ensure visual-text alignment. MTVQA aims to evaluate and enhance the ability of AI models to understand and answer questions in text-rich multilingual environments, with a special focus on low-resource language processing, providing a unique multilingual VQA resource for the global community.

搜集汇总

数据集介绍

构建方式

MTVQA数据集的构建始于对多语言文本中心图像的精心采集，图像来源涵盖公开数据集（如MLT2019）与互联网资源，并补充了各语言使用国的实地数据，最终汇聚了菜单、标志、地图、账单、幻灯片、研究论文等细粒度场景。为确保视觉与文本的高度对齐，所有图像均经过标准化的文本识别与语言分类清洗流程。随后，招募来自九个目标语言地区的母语专家，采用“提出-纠正”两轮人工标注范式：第一轮由一组标注员基于图像内容生成四个由浅入深的问题（前三题涉及直接文本读取，第四题需文本推理）并给出简洁答案；第二轮由另一组标注员对问答对进行正确性验证与修正，剔除无关问答、修正错误答案、去除冗余内容。每份语言标注结果还需经过10%的抽样质检，不合格者退回重标，最终构建起包含8,794张图像与28,607个问答对的高质量基准。

特点

MTVQA数据集的核心特点在于其开创性的多语言文本中心视觉问答定位，它不仅是首个为文本丰富场景提供母语专家人工标注的TEC-VQA基准，更覆盖了阿拉伯语、韩语、日语、泰语、越南语、俄语、法语、德语和意大利语这九种语言，其中包含多种低资源语言，有效弥补了现有VQA数据集对非高资源语言的忽视。与依赖机器翻译的既有工作不同，MTVQA通过人工标注从根本上规避了“视觉-文本错位”问题，确保了问答对与图像中视觉文本的高度一致性。数据集包含训练集（6,678张图像，21,829个问答对）和测试集（2,116张图像，6,778个问答对），问题类型涵盖从简单内容提取到文本关联推理的多样性，且答案要求简洁以利于评估。实验表明，包括GPT-4V在内的顶尖多模态大模型在该基准上平均准确率仅达25.7%，充分揭示了当前模型在跨语言文本理解场景中的性能瓶颈。

使用方法

MTVQA数据集适用于评估和训练多模态大模型在多语言文本中心场景下的视觉问答能力。使用方法上，研究者可直接将图像与问题输入模型，要求模型以问题所在语言的单词或短语形式输出答案，例如采用“Answer the question using a word or phrase in the language of the question. + <问题>”的提示模板以限制输出长度。评估指标采用精确匹配准确率，即仅当模型输出包含标准答案时计为正确。数据集已划分为训练集与测试集，支持零样本评测与指令微调两种范式：零样本测试可直接在闭源模型（如GPT-4V、Gemini）或开源模型（如InternVL、LLaVA-Next）上运行；指令微调则建议使用训练集对模型进行一个周期的微调，如论文中以InternLM-Xcomposer2-4KHD为骨干的实验显示，微调后可带来平均8.5%的准确率提升。

背景与挑战

背景概述

在人工智能迅猛发展的时代，以文本为中心的视觉问答（TEC-VQA）作为评估多模态大语言模型在文本丰富场景理解能力的关键基准，日益受到学术界与工业界的广泛关注。然而，现有TEC-VQA基准大多聚焦于英语、中文等高资源语言，导致低资源语言的模型评估与应用严重受限。为填补这一空白，字节跳动与华中科技大学的研究团队于2024年联合提出了MTVQA数据集，该数据集首次提供了涵盖阿拉伯语、韩语、日语等9种语言的人工专家标注，包含8,794张图像与28,607组问答对，覆盖菜单、海报、图表等多样化场景。MTVQA的发布不仅推动了多语言文本视觉理解的研究，也为衡量多模态大语言模型在低资源语言上的泛化能力提供了权威标杆。

当前挑战

MTVQA数据集面临的核心挑战首先源自领域问题的复杂性：多语言TEC-VQA要求模型不仅准确理解图像中的视觉文本，还需跨越语言鸿沟，对低资源语言（如泰语、越南语）进行精细的语义推理与内容抽取，而现有模型在跨语言文本理解与视觉对齐上表现欠佳，GPT-4V等顶尖模型在MTVQA上平均准确率仅约22%。其次，构建过程中挑战重重：传统基于机器翻译的扩展方案会导致严重的“视觉-文本错位”问题，即仅翻译问答对而忽略图像中的视觉文本，引起语义扭曲与语言偏见；为此，MTVQA采用人工专家“先提问后校正”的双轮标注范式，需协调多语言母语者团队，确保问答与图像内容严格一致，并对每项标注进行10%的抽样质检，过程耗时且成本高昂。

常用场景

经典使用场景

在文本中心视觉问答（TEC-VQA）领域，MTVQA数据集被广泛用于评估和提升多模态大语言模型在多种语言场景下的文本理解能力。该数据集涵盖阿拉伯语、韩语、日语、泰语、越南语、俄语、法语、德语和意大利语等九种语言，图像来源包括菜单、标志、地图、账单、演示文稿、研究论文等真实世界场景。研究者利用MTVQA对模型进行零样本测试和指令微调，检验其从图像中提取文本信息并回答相关问题的能力，尤其关注低资源语言的表现。这一经典使用场景为多语言文本理解研究提供了标准化基准，推动了模型在跨语言环境中的鲁棒性提升。

实际应用

在实际应用中，MTVQA数据集助力开发更智能的多语言文档理解系统，例如自动处理多语种菜单、收据、证书和海报等视觉文本信息。企业可利用基于该数据集训练的模型，构建跨语言客户服务机器人，自动识别和回答用户上传的图片中的文字问题。在旅游领域，模型可帮助游客理解外语标志、地图和菜单。教育领域则能支持多语言学习材料的自动问答。此外，MTVQA还促进了无障碍技术的发展，为视障人士提供多语言场景下的图像文字解读服务，显著提升了人工智能在全球范围内的可用性和包容性。

衍生相关工作

MTVQA数据集的发布催生了多项后续研究工作。研究者基于该数据集对GPT-4V、Gemini、QwenVL等主流多模态大语言模型进行了系统性基准测试，揭示了多语言文本理解任务的挑战性。TextSquare和TextMonkey等文档专注型模型在MTVQA上的评估进一步推动了OCR-free文档理解技术的发展。此外，InternLM-Xcomposer2-4KHD等模型利用MTVQA训练集进行指令微调，在平均准确率上提升了8.5%，验证了该数据集在模型微调中的价值。这些衍生工作共同推动了多语言文本中心视觉问答领域的研究进展，为构建更强大的跨语言AI系统奠定了基础。