Awesome-Multimodal-RAG

这是一个关于多模态检索增强生成（Multimodal RAG）的数据集合集，收集和整理了该领域的最新数据集资源。合集覆盖了文本、图像、视频、音频等多种数据模态，并包括通用多模态RAG、多模态文档RAG和特定领域多模态RAG相关的数据集。该合集旨在为研究人员和开发者提供索引和参考，以促进多模态RAG技术的创新和发展。This is a curated collection of datasets for Multimodal Retrieval-Augmented Generation (Multimodal RAG), which collects and organizes the latest dataset resources in this field. The collection covers various data modalities including text, images, videos, audios and other types, and encompasses datasets related to general multimodal RAG, multimodal document RAG, and domain-specific multimodal RAG. This collection aims to provide indexing and reference materials for researchers and developers, so as to promote the innovation and development of multimodal RAG technologies.

原始信息汇总

📊 Awesome Multimodal RAG 数据集详情

📝 数据集列表

该仓库收录了以下关键数据集，主要用于多模态检索增强生成（Multimodal RAG）的研究与评估：

• MMDocIR: Benchmarking Multi-Modal Retrieval for Long Documents
  一个用于长文档的页面级和布局级检索的基准数据集，旨在定位长文档中的相关页面并检测特定布局，粒度比整页分析更精细。数据主要来源于现有的DocVQA数据集。⏰ 2024-1

• Document Haystacks: Vision-Language Reasoning Over Piles of 1000+ Documents
  一个用于mRAG的数据集，源自DocVQA和InfographicVQA，包含300个评估问题和3000个训练问题。⏰ 2024-12

• LongDocURL: a Comprehensive Multimodal Long Document Benchmark Integrating Understanding, Reasoning, and Locating
  一个用于长文档理解、数值推理和跨元素定位的基准数据集，包含20个子任务和2325个问答对，涉及超过33000个文档页面。⏰ 2024-12

• Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent
  一个用于动态RAG任务的挑战性数据集。⏰ 2024-11

• M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding
  一个用于评估开放域DocVQA的基准数据集，涵盖3000多个PDF文档和40000多个页面。⏰ 2024-11

• M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework
  一个包含851个样本的基准数据集，包含长篇多样的多模态内容（文本、图形、表格），来自学术论文、技术手册和财务报告。⏰ 2024-11

• MMLongBench-Doc: Benchmarking Long-context Document Understanding with Visualizations
  一个长上下文多模态基准数据集，包含135份长篇PDF文档（平均47.5页）的1082个专家标注问题，需要从文本、图像、表格、图表等多种来源获取证据。其中33.7%为跨页问题，20.6%为不可回答问题用于评估幻觉检测。⏰ 2024-07

• SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers
  一个大规模问答数据集（27万个问题，2.5万篇论文），专门用于在科学研究论文的上下文中解释复杂图形和表格，涵盖计算机科学多个领域。⏰ 2024-07

🔧 工具与框架

• Kiln
  一个免费工具，支持通过拖拽方式在5分钟内构建RAG系统，支持文本、图像、音频、视频多模态RAG流水线，同时提供评估、代理、MCP工具调用、合成数据生成和微调功能。
  🔗 项目地址: https://github.com/Kiln-AI/Kiln

• Together Cookbook
  一套代码和指南集合，帮助开发者使用Together AI基于开源模型进行构建。
  🔗 项目地址: https://github.com/togethercomputer/together-cookbook

📈 评估指标

• 检索指标： Precision@k、Recall@k
• 生成指标： BLEU、ROUGE、CIDEr

🚀 开放挑战

• 高效的大规模多模态检索
• 不同模态之间的对齐
• 处理噪声或不完整的多模态数据
• 实际应用中的实时处理

搜集汇总

数据集介绍

构建方式

该数据集以多模态检索增强生成（Multimodal RAG）为核心主题，系统性地整合了该领域的最新研究进展、学术论文、工具框架及评测基准。构建过程基于对arXiv等学术数据库的广泛检索与筛选，收录了自2023年以来的关键文献，涵盖综述、通用方法、多模态文档处理及领域特定应用等多个维度。同时，数据集汇集了MMDocIR、Document Haystacks、M-Longdoc等代表性评测数据集，并整理了Kiln、Together Cookbook等实用工具，形成了一套结构完整、层次分明的知识体系。

特点

该数据集具备高度的时效性与综合性，收录的论文和工具均标注了发布时间，确保信息的先进性。其内容覆盖多模态RAG的完整生态链，从基础理论到应用实践，从通用技术到领域特化，如生物医学领域的AlzheimerRAG。此外，数据集特别关注多模态文档的复杂场景，包含大量针对长文档、跨页面、多图表等挑战性任务的基准与数据集，如MMLongBench-Doc中33.7%的跨页问题设计，凸显了其在细粒度多模态理解与检索方面的独特价值。

使用方法

使用者可通过GitHub仓库的目录结构快速导航，按主题分类查阅论文摘要与链接，直接访问arXiv获取全文。数据集部分提供了各评测基准的详细描述与引用信息，便于研究者根据任务需求（如文档检索、视觉问答）选择合适的基准进行实验。工具与框架章节则给出了开源项目的简介与GitHub链接，支持快速部署与二次开发。此外，仓库鼓励社区贡献，通过提交Pull Request或Issue即可参与内容更新，形成动态演进的协作生态。

背景与挑战

背景概述

多模态检索增强生成（Multimodal RAG）是近年来人工智能领域的前沿方向，旨在融合文本、图像、音频、视频等多种数据模态的信息检索与生成能力，以突破单一模态在复杂推理与上下文丰富性上的局限。该数据集资源列表由社区贡献者于2023年至2025年间持续维护，聚焦于多模态RAG的最新研究进展，涵盖了通用多模态检索、文档级多模态RAG、领域特定应用（如生物医学）等核心方向。其核心研究问题包括如何高效对齐异构模态、提升跨模态检索精度以及生成更符合上下文的输出。该列表整合了来自阿里巴巴、Hugging Face等机构的重要工作，如GME通用多模态嵌入模型和MegaPairs数据合成方法，对推动多模态RAG在学术研究与工业应用中的发展具有重要参考价值。

当前挑战

当前多模态RAG面临多重挑战。在领域问题层面，首要挑战是实现大规模多模态数据的高效检索，现有方法在跨模态对齐上仍存在语义鸿沟，难以精准匹配图像与文本等异构信息；同时，处理噪声或不完整的多模态数据（如模糊图片、缺失音频片段）会显著降低生成质量，而实时处理需求对推理速度与资源消耗提出了严苛要求。在构建过程中，数据集收集与标注面临困难，例如从DocVQA等来源衍生出的长文档基准（如MMDocIR、M-Longdoc）需覆盖多样化的模态与布局，但人工标注成本高昂且难以保证一致性；此外，合成数据的质量控制与领域适应性也是关键瓶颈，如MegaPairs虽能生成大规模数据，但其泛化至真实场景的可靠性仍需验证。

常用场景

经典使用场景

多模态检索增强生成（Multimodal RAG）作为融合信息检索与生成模型的前沿范式，其经典使用场景集中于对包含文本、图像、图表及表格等异构元素的复杂文档进行深度理解与问答。例如，在长文档多页问答任务中，系统需从数十页乃至上百页的PDF文档中精准定位相关页面与区域，并整合跨模态信息以生成上下文丰富且准确的回答。该场景广泛见于科研论文审阅、技术手册解析及金融报告分析等领域，其核心在于通过视觉语言模型与检索机制的协同，突破传统纯文本RAG在处理非结构化视觉内容时的局限，实现从宏观页面定位到微观元素级推理的精细化信息利用。

实际应用

在实际产业应用中，该数据集所支撑的多模态RAG技术已展现出显著价值。在智能文档处理领域，企业可借助该技术实现合同条款的自动审查、技术手册的交互式问答以及财务报表的智能分析，大幅提升信息提取与决策支持效率。例如，法律事务所可利用该系统从数千页案卷中快速定位关键证据片段并生成摘要，金融分析师则可基于多份报告中图表与文本的联合推理，自动生成投资风险评估报告。此外，在医疗健康领域，针对PubMed文献的阿尔茨海默病相关研究，该系统能够整合论文中的病理图像、统计图表与临床文本，辅助研究人员进行知识发现与假设验证，加速循证医学实践。

衍生相关工作

该数据集催生了一系列具有深远影响的衍生工作，推动了多模态RAG领域的系统性发展。在检索器设计方面，ColPali等模型借鉴了数据集中的文档嵌入思想，提出基于视觉语言模型的端到端文档检索范式，摒弃了传统OCR与版面分析的繁琐流程。在生成策略层面，VisRAG与M3DocRAG等框架围绕数据集中定义的多页多文档推理需求，创新性地设计了分阶段检索与渐进式推理机制，有效提升了长上下文下的答案质量。更进一步，AlzheimerRAG等面向特定领域的应用系统，直接基于数据集中的生物医学子集进行领域适配，验证了多模态RAG在专业场景下的可迁移性。这些工作共同构成了从基准构建、模型设计到应用落地的完整技术生态。