MAIR

MAIR（Massive Instructed Retrieval Benchmark）是一个大规模的异构信息检索基准，包含126个不同的信息检索任务，涵盖6个领域。数据集从现有的信息检索数据集中收集，包括SIGIR资源跟踪论文、现有基准任务、TREC共享任务和最近的LLM基准。数据集包含10,038个查询和4,274,916个文档，通过数据采样和清洗过程构建，确保评估的准确性和成本效益。MAIR旨在评估模型在未见任务上的泛化能力，特别适用于评估指令调优的检索模型，解决信息检索中的多样化任务和长尾任务的挑战。

MAIR (Massive Instructed Retrieval Benchmark) is a large-scale heterogeneous information retrieval benchmark encompassing 126 distinct information retrieval tasks across 6 domains. This dataset is curated from existing information retrieval resources, including SIGIR Resource Tracking papers, established benchmark tasks, TREC shared tasks, and recent LLM benchmarks. It consists of 10,038 queries and 4,274,916 documents, and is constructed via rigorous data sampling and cleaning processes to ensure the accuracy and cost-effectiveness of model evaluations. MAIR is intended to assess the generalization capability of models on unseen tasks, and is particularly suited for evaluating instruction-tuned retrieval models, thereby addressing the challenges posed by diverse and long-tail tasks in information retrieval.

原始信息汇总

MAIR: A Massive Benchmark for Evaluating Instructed Retrieval

数据集概述

• 名称: MAIR (Massive Instructed Retrieval Benchmark)
• 描述: 一个异构基准，用于评估指令信息检索（IR）。包含126个跨6个领域的检索任务，每个查询都带有详细的检索指令。
• 扩展应用: 包括RAG、代码检索、基于代理的检索、生物医学、法律IR等领域。
• 数据增强: 通过数据采样和多样化提高评估效率。

数据链接

• Queries: MAIR-Queries
• Docs: MAIR-Docs

数据结构

Queries Data

• 字段:
  • qid: 查询ID
  • instruction: 任务指令
  • query: 查询内容
  • labels: 相关文档列表，包含id和score

Docs Data

• 字段:
  • id: 文档ID
  • doc: 文档内容

任务和领域

• 领域: Web、Medical、Code、Legal、Finance、Academic
• 任务数量: 126个任务

评估脚本

• 文本嵌入模型评估: eval_embedding
• 重排序模型评估: eval_rerank
• RankGPT评估: RankGPT, eval_rerank
• BM25评估: BM25, eval_bm25

IFEval任务

• 描述: 包含8个不同的指令跟随子任务，如format、keywords、length等。

引用

@inproceedings{Sun2024MAIR, title={MAIR: A Massive Benchmark for Evaluating Instructed Information Retrieval}, author={Weiwei Sun and Zhengliang Shi and Jiulong Wu and Lingyong Yan and Xinyu Ma and Yiding Liu and Min Cao and Dawei Yin and Zhaochun Ren}, booktitle={EMNLP}, year={2024}, }

搜集汇总

数据集介绍

构建方式

MAIR数据集的构建过程体现了对多样化信息检索任务的全面覆盖。首先，数据集从多个知名来源收集数据，包括SIGIR会议的资源跟踪论文、现有的IR基准（如BEIR和KILT）、TREC会议的共享任务以及LLM评估数据集。这些数据源提供了跨多个领域和任务的丰富数据。随后，通过合并具有相同语料库和设置的任务以避免重复，并对数据进行必要的清洗操作，如去重、关键词提取和文本规范化，确保数据的一致性和质量。最终，通过有效的数据采样方法，MAIR数据集在保持评估准确性的同时，实现了计算效率的提升。

特点

MAIR数据集的显著特点在于其大规模和多样性。该数据集包含了126个不同的信息检索任务，跨越6个主要领域，并配备了805个详细的手动注释指令。这些指令不仅描述了查询和文档的类型，还明确了相关性标准，使得MAIR成为评估指令遵循能力的理想平台。此外，MAIR的数据分布经过精心设计，涵盖了多种查询和文档类型，以及特定的相关性标准，确保了数据集的广泛适用性和挑战性。

使用方法

MAIR数据集的使用方法多样，适用于评估和训练各种信息检索模型。研究者可以利用该数据集来测试模型的指令遵循能力，通过比较不同模型在有无指令情况下的表现，评估其对自然语言指令的理解和执行能力。此外，MAIR还可以用于训练和微调模型，特别是在需要处理多样化和复杂查询的场景中。数据集的公开性和详细注释使其成为信息检索领域研究的重要资源，有助于推动该领域的发展和创新。

背景与挑战

背景概述

MAIR（Massive Instructed Retrieval Benchmark）是由卡内基梅隆大学、山东大学、苏州大学、百度公司和莱顿大学等多个机构的研究人员共同开发的大型信息检索基准数据集。该数据集于2024年提出，旨在评估指令调优的信息检索模型在未见任务上的泛化能力。MAIR包含了126个不同的信息检索任务，涵盖6个领域，并包含805个详细标注的检索指令。这些任务和指令的多样性使得MAIR成为评估信息检索模型指令遵循能力的重要工具，对信息检索领域的研究具有深远影响。

当前挑战

MAIR数据集的构建和应用面临多重挑战。首先，数据集的多样性和复杂性要求模型具备强大的泛化能力，能够在不同领域和任务中表现出色。其次，数据收集过程中需要从多个知名来源（如SIGIR、TREC等）整合数据，确保任务的广泛覆盖和高质量。此外，数据采样和指令标注过程也极具挑战，需要在保持数据集轻量化的同时，确保评估结果的准确性和代表性。最后，MAIR的评估结果揭示了当前指令调优模型在特定长尾任务上的不足，这为未来的研究指明了改进方向。

常用场景

经典使用场景

MAIR数据集在信息检索领域中被广泛用于评估指令调优模型的泛化能力。其经典使用场景包括对大规模异构信息检索任务的评估，涵盖了从学术文献检索到法律案例检索等多个领域。通过MAIR，研究者可以测试模型在不同任务和领域中的表现，从而评估其在未见任务上的泛化能力。

解决学术问题

MAIR数据集解决了现有信息检索基准在任务多样性和领域覆盖上的不足。传统IR基准通常聚焦于单一任务或特定领域，而MAIR通过包含126个不同任务和6个领域，提供了更全面的评估环境。这使得研究者能够更准确地评估模型在多任务和跨领域场景下的表现，推动了信息检索模型在实际应用中的泛化能力和适应性研究。

衍生相关工作

MAIR数据集的提出激发了大量相关研究工作，特别是在指令调优和多任务学习领域。例如，基于MAIR的研究工作探索了如何通过指令调优提升模型的泛化能力，以及如何设计更有效的多任务学习策略。此外，MAIR还促进了与其他信息检索基准（如BEIR、KILT）的比较研究，推动了信息检索领域的整体进步。