openbmb/VisRAG-Ret-Test-InfoVQA

这是一个基于信息图表的VQA数据集，包含了图片、查询、答案和相关性得分等信息，适用于视觉问答任务。

This is a VQA dataset based on infographics, which includes images, queries, answers, and relevance scores for visual question answering tasks.

搜集汇总

数据集介绍

构建方式

在视觉问答与文档智能检索领域，信息图（Infographics）因其融合文本与视觉元素的复杂性，成为评估多模态检索系统性能的关键挑战。openbmb/VisRAG-Ret-Test-InfoVQA数据集基于InfoVQA中的信息图表构建，旨在为视觉检索增强生成（VisRAG）提供测试基准。该数据集采用三组件架构：corpus配置包含459个图像文档，以图像形式存储；queries配置收录718个查询，每个查询配备问题文本、答案序列、选项序列及数值标识；qrels配置记录查询与文档间的相关性评分，共718条关联。数据以HuggingFace Datasets格式组织，支持通过load_dataset函数按配置加载，其中qrels文件需额外通过TSV格式读取以构建相关性字典。

特点

该数据集的核心特点在于其专为多模态检索任务设计的精细结构。corpus部分直接保留原始图像，避免了文本化过程中的信息损失，适合评估视觉语言模型的直接理解能力。queries配置不仅包含自然语言问题，还提供多候选答案和选项，支持开放式生成与多项选择两种评估范式，其中is_numerical字段可区分数值型与非数值型问题，便于针对性分析。qrels采用标准TREC格式，以查询-文档-分数三元组明确标注相关性，确保检索结果的可量化评估。此外，数据集规模适中（459个文档、718个查询），兼顾了评测的全面性与计算效率。

使用方法

使用该数据集时，需从HuggingFace加载三个配置：首先通过load_dataset('openbmb/VisRAG-Ret-Test-InfoVQA', name='corpus', split='train')获取图像文档，加载queries配置获取查询及其答案，随后单独处理qrels文件。由于qrels以TSV格式存储，建议使用csv.DictReader解析，构建以query-id为键、corpus-id和score为值的嵌套字典。实际应用中，可将图像文档输入多模态检索模型生成候选排序，再与qrels中的真实相关性对比，计算NDCG、MAP等检索指标。查询中的answer和options字段可用于评估生成式或选择式回答的准确性。

背景与挑战

背景概述

在视觉语言理解领域，图文检索与视觉问答任务的融合日益成为研究热点，尤其是在处理复杂结构化信息时，传统检索方法往往难以捕捉图像中蕴含的语义层次。openbmb/VisRAG-Ret-Test-InfoVQA数据集由OpenBMB团队基于InfoVQA数据集构建，发布于2024年，旨在评估多模态检索增强生成（RAG）模型在信息型视觉问答场景下的表现。该数据集聚焦于信息图（Infographics）这一特殊视觉载体，涵盖图表、流程图、混合文档等富含结构化信息的图像类型，核心研究问题在于如何通过检索机制精准定位并回答涉及数值、选项和文本交织的复杂问题。作为VisRAG系列测试基准的一部分，该数据集为多模态检索系统的鲁棒性和可解释性提供了关键验证平台，对推动文档智能与视觉问答交叉领域的发展具有重要影响。

当前挑战

该数据集面临的核心挑战首先在于领域问题的复杂性：信息图视觉问答不仅需要模型理解图像中的多模态语义（如文字、颜色、布局），还需处理数值推理、选项匹配等高级认知任务，传统视觉检索方法难以同时兼顾细粒度定位与语义关联。其次，构建过程中存在显著困难：原始InfoVQA数据需经过精细的语料库划分、查询-文档相关性标注（qrels）以及答案与选项的结构化整理，其中718条查询对应459个文档片段，标注稀疏性增加了模型学习难度。此外，数值型问题与非数值型问题的混合（由is_numerical字段标识）要求检索系统具备动态推理能力，而图像的高分辨率与复杂排版进一步挑战了视觉编码器的特征提取效率，成为当前多模态RAG系统落地的关键瓶颈。

常用场景

经典使用场景

VisRAG-Ret-Test-InfoVQA数据集聚焦于信息图表（Infographics）场景下的视觉问答与检索任务，其经典使用场景是评估多模态检索增强生成（RAG）模型在复杂视觉文档中的图文联合理解能力。该数据集包含459个图文文档作为检索语料，以及718个基于视觉信息的问题，要求模型不仅理解文本语义，还需解析图表布局、颜色编码、符号逻辑等视觉元素。研究者常将其作为基准，测试视觉-语言模型在信息密度高、结构非线性的文档中定位关键信息并生成准确答案的表现，从而推动多模态检索系统从纯文本向视觉融合的范式演进。

实际应用

在实际应用中，该数据集支持构建企业级智能文档分析系统，例如自动解析财务报告中的信息图、医疗文献中的统计图表以及法律合同中的流程图。通过训练在该数据集上表现优异的检索模型，可显著提升知识管理平台对PDF、扫描件等非结构化数据的利用效率。此外，教育领域的智能辅导系统可借助该技术自动解析教材中的知识图谱，而新闻媒体机构则能实现信息图内容的快速索引与事实核查，从而将视觉文档从静态存储转化为可交互、可检索的活数据资产。

衍生相关工作

该数据集衍生了一系列推动多模态检索发展的经典工作，例如VisRAG系列模型首次将视觉编码器与检索器端到端联合训练，在InfoVQA子集上验证了视觉特征对检索精度的增益。后续研究如DocRAG架构借鉴其图文关联标注设计，提出了分阶段视觉-文本对齐策略。此外，该数据集催生了针对信息图表布局理解的预训练任务（如Masked Visual Modeling），以及评估视觉检索中图文互斥性与冗余性的分析框架。这些工作共同塑造了视觉检索增强生成领域的技术路线图，成为多模态RAG系统性能评估的参考标杆。