ReT-M2KR

该数据集是用于训练和评估ReT多模态信息检索模型的数据集。它与原始的M2KR数据集几乎相同，但进行了少量修改，包括排除了来自MSMARCO的数据（因为它们不包含查询图像），并在OVEN、InfoSeek、E-VQA和OKVQA中添加了段落图像。具体细节请参考相关论文。

搜集汇总

数据集介绍

构建方式

在跨模态信息检索研究领域，ReT-M2KR数据集基于原始M2KR框架进行了针对性优化。该数据集剔除了MSMARCO中不含查询图像的数据样本，同时为OVEN、InfoSeek、E-VQA和OKVQA等子集补充了篇章级图像数据，这一改进显著提升了数据集的模态完整性。数据构建过程严格遵循多模态检索任务的需求，通过Git LFS技术实现大规模图像数据的高效存储与管理。

特点

作为多模态文档检索领域的基准数据集，ReT-M2KR最突出的特点是其增强的视觉-语言对齐特性。数据集包含129个压缩包构成的图像库，覆盖问答、信息检索等多种任务场景。不同于传统单模态数据集，该资源通过精心设计的图像-文本配对机制，为研究者提供了检验模型跨模态理解能力的理想测试平台。特别值得注意的是，数据集中的视觉内容均经过严格筛选，确保与对应文本形成语义互补。

使用方法

研究者可通过Git LFS系统克隆完整数据集，解压过程需合并129个分卷压缩包。该数据集主要服务于基于Recurrence-Enhanced架构的多模态Transformer模型训练，特别适用于验证视觉-语言联合表征的有效性。在使用过程中，建议参考原始论文提供的预处理流程，确保数据格式与模型输入要求相匹配。数据集配套的BibTeX引用模板便于学术成果的规范引用。

背景与挑战

背景概述

ReT-M2KR数据集由意大利摩德纳大学AImageLab研究团队于2025年发布，作为CVPR会议论文《Recurrence-Enhanced Vision-and-Language Transformers for Robust Multimodal Document Retrieval》的核心组成部分。该数据集基于经典M2KR框架进行优化，专门用于增强多模态文档检索任务中视觉-语言模型的鲁棒性。研究团队通过剔除MSMARCO中不含查询图像的数据，并整合OVEN、InfoSeek等数据集中的段落图像，构建了更具挑战性的跨模态检索基准。这项工作推动了视觉语言预训练模型在文档级语义理解方面的发展，为复杂场景下的多模态对齐提供了新的研究范式。

当前挑战

该数据集主要应对多模态信息检索领域的两大核心挑战：跨模态语义对齐的细粒度建模，以及长文档序列中视觉-语言特征的动态融合。在构建过程中，研究团队面临原始数据分布异构性带来的标注噪声问题，特别是不同来源数据集间图像-文本对的质量差异。技术实现上需解决大规模图像数据的高效存储与分布式处理难题，包括超过130个压缩分卷的LFS管理。这些挑战促使研究者开发了新型循环增强机制，以提升Transformer架构对多模态长序列的建模能力。

常用场景

经典使用场景

在跨模态信息检索领域，ReT-M2KR数据集为研究者提供了丰富的多模态文档检索基准。该数据集通过整合OVEN、InfoSeek、E-VQA和OKVQA等主流视觉问答数据集中的图像-文本对，构建了一个包含多样化查询和文档的评估环境。其典型应用场景包括测试视觉-语言模型在复杂跨模态检索任务中的性能表现，特别是在处理图像增强型文本查询时展现出的语义理解能力。

解决学术问题

该数据集有效解决了多模态文档检索中的关键科学问题，包括跨模态表征对齐、视觉-语言语义鸿沟消弭以及复杂查询意图理解等挑战。通过剔除MSMARCO等纯文本数据源并强化视觉模态，研究者能够更精准地评估模型在处理图文混合检索任务时的鲁棒性，为构建更智能的多模态检索系统提供了标准化的评估框架。

衍生相关工作

基于该数据集衍生的经典研究包括递归增强视觉-语言变换器（ReT）等创新架构，这些工作通过引入时序递归机制显著提升了多模态文档检索的连贯性理解能力。相关成果已推动CLIP、ALIGN等预训练模型在跨模态检索任务中的适应性改进，并催生了新一代多模态稠密检索系统的技术演进。