M2RAG

M2RAG数据集由北京理工大学计算机科学与技术学院创建，旨在评估多模态生成模型的能力。该数据集包含200个查询样本，涵盖11个不同类别，每个查询样本都附有相关的多模态网页和辅助图像。数据集的创建过程包括查询收集、数据准备和元素评估三个步骤，确保了数据的高质量和多样性。M2RAG数据集主要应用于多模态生成任务，旨在通过结合文本和图像信息，提升生成内容的信息密度和可读性。

The M2RAG dataset was constructed by the School of Computer Science and Technology, Beijing Institute of Technology, with the primary goal of evaluating the capabilities of multimodal generative models. This dataset comprises 200 query samples spanning 11 distinct categories, with each query sample paired with relevant multimodal webpages and auxiliary images. The dataset creation process includes three core steps: query collection, data preparation, and element evaluation, which ensures the high quality and diversity of the dataset. The M2RAG dataset is primarily utilized for multimodal generative tasks, aiming to enhance the information density and readability of generated content by combining textual and visual information.

搜集汇总

数据集介绍

构建方式

M2RAG数据集的构建过程包括三个主要步骤：查询收集、数据准备和元素评估。首先，通过Google Search API从ELI5数据集中收集多样化的用户查询，并筛选出需要多模态信息回答的查询。接着，对这些查询进行分类，确保数据集的平衡性。数据准备阶段，使用JINA AI Reader从相关网页中提取文本和图像，并通过Google Image Search补充高质量的辅助图像。最后，通过LLM和MLLM对文本和图像元素进行评估，确保其与用户查询的相关性。

特点

M2RAG数据集的特点在于其多模态性和高相关性。数据集包含了丰富的文本和图像信息，能够有效支持多模态生成任务。此外，数据集中的元素经过严格的筛选和评估，确保了高质量和高相关性，从而提升了生成响应的准确性和可读性。

使用方法

使用M2RAG数据集时，研究者可以采用单阶段或多阶段的方法进行多模态生成。单阶段方法直接生成包含图像占位符的多模态响应，而多阶段方法则先生成文本响应，再插入相关图像并进行文本精炼。研究者可以选择使用LLM或MLLM作为基础模型，根据任务需求和计算资源进行选择。

背景与挑战

背景概述

M2RAG数据集由北京理工大学、南洋理工大学和腾讯微信AI团队的研究人员共同创建，旨在解决多模态检索增强多模态生成（M2RAG）任务。该任务要求基础模型浏览包含文本和图像的多模态网页，并生成多模态响应以解决用户查询，从而提高信息密度和可读性。M2RAG任务的提出填补了该领域早期研究中缺乏系统研究和分析的空白，通过构建一个包含文本和多模态度量标准的基准，评估现有基础模型的能力。该数据集的构建和研究对多模态生成和检索领域具有重要影响，推动了基础模型在处理复杂多模态信息方面的能力提升。

当前挑战

M2RAG数据集面临的挑战主要包括两个方面：一是解决多模态生成任务中的复杂性，即如何在多模态输入中有效整合文本和图像信息，生成高质量的多模态响应；二是数据集构建过程中遇到的挑战，如如何从多模态网页中提取和过滤高质量的文本和图像数据，以及如何设计有效的检索方法来评估多模态数据元素与用户查询的相关性。此外，现有基础模型在处理M2RAG任务时仍存在显著局限性，如多模态大型语言模型（MLLMs）在处理复杂任务时的表现不如单一模态模型（LLMs），这表明在多模态生成领域仍有巨大的改进空间。

常用场景

经典使用场景

M2RAG数据集的经典使用场景在于评估和提升多模态生成模型的性能。通过提供包含文本和图像的复杂网页，模型需要生成与用户查询高度相关的多模态响应。例如，当用户询问如何折叠纸飞机时，模型不仅需要生成详细的文字说明，还需插入相关的步骤图像，以增强信息的密度和可读性。

实际应用

在实际应用中，M2RAG数据集可用于开发和优化智能助手、教育工具和信息检索系统。例如，在教育领域，模型可以根据学生的查询生成包含图文解释的答案，帮助学生更好地理解和掌握知识。在信息检索系统中，模型可以生成包含相关图像的搜索结果，提升用户体验。

衍生相关工作

基于M2RAG数据集，研究者们开发了多种多模态生成模型和评估方法。例如，一些研究工作提出了新的多模态融合技术，以提升生成文本和图像的相关性和一致性。此外，还有研究专注于优化模型的推理速度和资源消耗，以适应实际应用中的高效率需求。