XT-VQA

XT-VQA是一个用于评估跨语言文本丰富视觉问答的基准数据集，由五个现有数据集和一个新收集的XPaperQA数据集组成。该数据集涵盖了多种视觉信息类型，包括图表、场景文本和文档，特别关注双语文献。XPaperQA数据集包含4436条高质量的问题-答案对，通过先进的Gemini-Pro模型生成，并经过严格的过滤和质量审查。XT-VQA数据集的创建旨在解决跨语言视觉理解中的挑战，特别是在图像文本与问题语言不一致的情况下，评估大型视觉语言模型的性能。

XT-VQA is a benchmark dataset for evaluating cross-lingual text-rich visual question answering. It consists of five existing datasets plus a newly collected XPaperQA dataset. This dataset covers a variety of visual information types including charts, scene text, and documents, with a particular focus on bilingual documents. The XPaperQA dataset contains 4,436 high-quality question-answer pairs, which are generated by the advanced Gemini-Pro model and subjected to strict filtering and quality review. The XT-VQA dataset is designed to address the challenges in cross-lingual visual understanding, particularly in cases where the language of the image text is inconsistent with that of the question, to evaluate the performance of large vision-language models.

搜集汇总

数据集介绍

构建方式

XT-VQA数据集的构建方式主要通过整合五个现有的文本丰富型视觉问答（VQA）数据集，并引入了一个新的数据集XPaperQA。XPaperQA专注于双语文献，包含4,436个问题-答案对，这些问题是通过先进的Gemini-Pro模型生成的。为了确保数据质量，数据集经过了严格的过滤和质量审查过程。此外，XT-VQA还通过Google Translate将现有的文本丰富型VQA数据集扩展到多种语言（如英语、中文和法语），并通过回译和BERT句子相似度计算来提高翻译的鲁棒性和减少偏差。

特点

XT-VQA数据集的主要特点是其跨语言性和文本丰富性。该数据集涵盖了多种视觉信息类型，包括图表、场景文本和文档，特别关注图像文本与问题语言不一致的跨语言场景。XPaperQA数据集的引入填补了现有数据集中非英语图像的稀缺性，提供了高质量的双语问题-答案对。此外，数据集通过多重过滤机制确保了问题和答案的准确性和多样性，使其成为评估大型视觉语言模型（LVLMs）在跨语言文本丰富型视觉问答任务中表现的有效基准。

使用方法

XT-VQA数据集主要用于评估大型视觉语言模型（LVLMs）在跨语言文本丰富型视觉问答任务中的表现。研究者可以通过该数据集测试模型在处理不同语言的图像文本和问题时的性能，特别是在图像文本与问题语言不一致的情况下。此外，XT-VQA还提供了多种评估指标，如F1分数，用于衡量模型在不同语言和场景下的准确性和一致性。通过分析模型在XT-VQA上的表现，研究者可以进一步优化和改进模型的跨语言理解和推理能力。

背景与挑战

背景概述

XT-VQA数据集由哈尔滨工业大学、华为公司和香港大学联合开发，旨在评估大型视觉-语言模型（LVLMs）在跨语言文本丰富的视觉问答任务中的表现。该数据集创建于2024年，主要研究人员包括Xinmiao Yu、Xiaocheng Feng等。XT-VQA的核心研究问题是评估LVLMs在图像文本与问题语言不一致情况下的理解能力，特别是当图像中的文本语言与问题语言不同时，模型的表现如何。该数据集整合了五个现有的文本丰富VQA数据集，并引入了新的XPaperQA数据集，涵盖了多种场景，旨在解决跨语言视觉理解中的挑战。XT-VQA的推出对多模态理解领域具有重要影响，尤其是在全球化背景下，跨语言视觉问答的需求日益增加。

当前挑战

XT-VQA数据集面临的挑战主要集中在跨语言场景下的视觉理解问题。首先，构建过程中遇到的挑战包括数据稀缺性，尤其是非英语图像的缺乏，这导致了模型在处理非英语文本时的表现显著下降。其次，跨语言问题对模型的视觉信息激活能力提出了更高的要求，模型在处理不同语言的问题时，难以有效利用图像中的文本信息，导致性能下降。实验结果显示，即使模型具备多语言能力，在跨语言场景下的表现仍显著下降，尤其是在中文和法语问题上的表现下降幅度达到32.6%。此外，如何在不牺牲单语言性能的情况下，提升跨语言场景下的视觉理解能力，也是该数据集面临的重要挑战。

常用场景

经典使用场景

XT-VQA数据集的经典使用场景在于评估大规模视觉-语言模型（LVLMs）在跨语言文本丰富的视觉问答任务中的表现。该数据集通过整合多个现有的文本丰富VQA数据集以及新收集的XPaperQA数据集，涵盖了多种需要视觉信息识别和理解的场景，如表格、场景文本和文档。通过XT-VQA，研究者能够系统地测试模型在图像文本与问题语言不一致情况下的表现，尤其是在多语言环境中的鲁棒性。

衍生相关工作

XT-VQA数据集的提出催生了一系列相关研究工作，特别是在跨语言视觉-语言理解和多模态信息处理领域。例如，基于XT-VQA的研究者提出了MVCL-MI方法，通过最大化视觉与语言之间的互信息，有效提升了模型在跨语言场景中的表现。此外，XT-VQA还激发了对多语言视觉问答任务的深入研究，推动了多模态模型在不同语言环境下的适应性和鲁棒性研究。

数据集最近研究

最新研究方向

XT-VQA数据集的最新研究方向主要集中在跨语言文本丰富的视觉理解任务上。研究者们通过引入新的数据集XPaperQA，扩展了现有的文本丰富视觉问答（VQA）数据集，涵盖了多种语言和场景，特别是针对学术论文的跨语言问答。研究结果表明，尽管大型视觉语言模型（LVLMs）在多语言环境中表现出色，但在跨语言场景下，其性能显著下降。为此，研究者提出了MVCL-MI（最大化视觉语言跨语言互信息）方法，通过最大化模型输出与视觉信息之间的互信息，来缓解跨语言性能差距，同时保持单语言环境下的模型能力。这一研究不仅揭示了跨语言视觉理解的挑战，还为提升LVLMs在多语言环境中的应用提供了新的实践方向。

相关研究论文

• Cross-Lingual Text-Rich Visual Comprehension: An Information Theory Perspective

  哈尔滨工业大学, 华为公司, 香港大学 · 2024年