MMDocIR-Challenge

MMDocIR数据集是为2025年Web会议中的多模态信息检索挑战（MIRC）设计的，属于多模态文档检索挑战赛道。该数据集包含313个文档的20,395页截图，每页包含OCR文本和视觉语言模型（VLM）生成的文本。数据集的主要文件包括`MMDocIR_gt_remove.jsonl`（包含问题及其相关信息）、`MMDocIR_doc_passages.parquet`（包含文档页面的截图和文本信息）、`page_images.rar`（包含所有文档页面的截图）和`MMDocIR_doc_passages.json`（包含所有相关页面的信息）。数据集用于评估多模态检索模型的性能。

The MMDocIR dataset was developed for the Multimodal Information Retrieval Challenge (MIRC) at TheWebConf 2025, falling under the multimodal document retrieval challenge track. This dataset comprises 20,395 page screenshots spanning 313 documents, where each page includes OCR text and text generated by a vision-language model (VLM). The core files of the dataset include `MMDocIR_gt_remove.jsonl` (containing questions and their associated information), `MMDocIR_doc_passages.parquet` (containing screenshot and text information of document pages), `page_images.rar` (containing screenshots of all document pages) and `MMDocIR_doc_passages.json` (containing information of all relevant pages). This dataset is used to evaluate the performance of multimodal retrieval models.

原始信息汇总

MMDocIR Challenge

许可

• Apache-2.0

数据集描述

• 用于2025年Web Conference的多模态信息检索挑战（MIRC）下的多模态文档检索挑战轨道。

提交指南

• 根据相关性分数降序返回给定文档内的前10个段落id。如果文档包含少于10页，则返回所有页面。检索范围是每个文档内（平均65.1页），而不是全局段落语料库（总计20395页）。

数据集结构

1. MMDocIR_gt_remove.jsonl

   • 包含所有问题和相关信息。
   • 字段：question_id（字符串），question（字符串），doc_name（字符串），domain（字符串），num_of_pages（整数），passage_id（列表）。

2. MMDocIR_doc_passages.parquet

   • 包含313个文档的20395个文档页面截图。
   • 字段：doc_name（字符串），domain（字符串），passage_id（字符串），image_path（字符串），image_binary（JPEG图像二进制），ocr_text（字符串），vlm_text（字符串）。

3. page_images.rar

   • 包含313个文档的20395个文档页面截图。

4. MMDocIR_doc_passages.json

   • 包含313个文档的所有相关页面信息。
   • 字段：page（整数），image_path（字符串），ocr_text（字符串），vlm_text（字符串）。

引用信息

@misc{dong2025mmdocirbenchmarkingmultimodalretrieval, title={MMDocIR: Benchmarking Multi-Modal Retrieval for Long Documents}, author={Kuicai Dong and Yujing Chang and Xin Deik Goh and Dexun Li and Ruiming Tang and Yong Liu}, year={2025}, eprint={2501.08828}, archivePrefix={arXiv}, primaryClass={cs.IR}, url={https://arxiv.org/abs/2501.08828}, }

搜集汇总

数据集介绍

构建方式

MMDocIR-Challenge数据集的构建旨在满足多模态信息检索领域的需求，特别是在Web Conference 2025的Multimodal Document Retrieval Challenge Track中。该数据集由313份文档组成，共计20,395页文档页面截图，每份文档包含文本和图像两种模态的信息。构建过程中，数据集设计者首先收集了文档页面的截图及其对应的文本信息，随后将问题与相关文档及段落通过唯一的标识符进行关联，形成了可用于多模态检索任务的数据集。

使用方法

使用MMDocIR-Challenge数据集时，研究者可以通过读取`MMDocIR_gt_remove.jsonl`文件获取问题及其相关文档信息，并通过`MMDocIR_doc_passages.parquet`文件获取文档页面的详细数据。数据集要求参与者根据给定的问题，返回文档中相关性最高的前10个段落的标识符。在处理时，研究者可以利用Python中的pandas库和json库来读取和处理这些数据文件，从而进行多模态检索的相关研究或竞赛任务。

背景与挑战

背景概述

MMDocIR Challenge数据集，旨在推动多模态信息检索领域的发展，由Kuicai Dong等研究人员于2025年创建，并在Web Conference 2025中进行发布。该数据集聚焦于多模态文档检索的挑战，其核心研究问题是提升长文档中相关信息片段的检索效率与准确性。MMDocIR数据集的构建，为多模态检索领域提供了重要的实验平台，对相关技术的进步与评估标准的建立产生了显著影响。

当前挑战

该数据集面临的挑战主要表现在两个方面：一是领域内问题解决的挑战，即在多模态文档中准确识别并返回与查询相关的信息片段；二是构建过程中的挑战，包括如何高效处理大规模的文档数据，以及如何在多模态信息融合、OCR文本识别和视觉语言模型文本生成等方面实现技术突破。

常用场景

经典使用场景

MMDocIR Challenge数据集，作为多模态信息检索领域的重要资源，其经典的使用场景主要集中于长文档的多模态检索任务。该数据集涵盖了丰富的文档页面截图及其文本信息，旨在通过问题与文档内容之间的相关性评分，实现文档内部的最佳段落检索。

解决学术问题

该数据集解决了传统信息检索中难以处理长文档的问题，特别是在多模态环境下，如何有效地结合文本和图像信息进行检索。MMDocIR Challenge通过提供带有问题相关信息的标注数据，助力研究者探索长文档中多模态信息融合的检索方法，对学术研究具有显著的推动作用。

实际应用

在实际应用中，MMDocIR Challenge数据集可被用于构建智能问答系统，特别是在处理学术文献、法律文件或技术手册等长文档时，系统能够快速定位到用户所需的关键段落，提高信息检索的准确性和效率。

数据集最近研究

最新研究方向

MMDocIR Challenge作为2025年Web Conference的多模态信息检索挑战赛的一部分，专注于多模态文档检索领域。该数据集的构建旨在推动长文档多模态检索技术的进步，其研究方向的焦点是如何在给定的文档内部，基于相关性得分，有效地返回最相关的段落。当前研究的热点在于如何融合文本与图像信息，以提升检索的准确性和效率。MMDocIR数据集的出现，为评估和比较不同多模态检索算法提供了一个统一的标准，对于推动相关领域的学术交流和工业应用具有重要意义。