irds/mr-tydi_fi_train

`mr-tydi/fi/train`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含6,561个查询（queries）和6,561个相关性评估（qrels）。文档（docs）部分需要使用`irds/mr-tydi_fi`数据集。数据集的使用示例代码展示了如何通过`datasets`库加载查询和相关性评估数据。

The `mr-tydi/fi/train` dataset is provided by the `ir-datasets` package, and is primarily intended for text retrieval tasks. It comprises 6,561 queries and 6,561 relevance judgments (qrels). To access the document (docs) component of this dataset, the `irds/mr-tydi_fi` dataset must be used. An example usage code snippet shows how to load the query and relevance judgment data via the `datasets` library.

原始信息汇总

数据集概述

数据集名称

mr-tydi/fi/train

数据来源

• 源数据集：irds/mr-tydi_fi

任务类别

• 文本检索

数据内容

• queries（查询）: 数量=6,561
• qrels（相关性评估）: 数量=6,561
• docs（文档）: 使用数据集irds/mr-tydi_fi

使用示例

python from datasets import load_dataset

加载查询数据

queries = load_dataset(irds/mr-tydi_fi_train, queries) for record in queries: record # {query_id: ..., text: ...}

加载相关性评估数据

qrels = load_dataset(irds/mr-tydi_fi_train, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言检索基准的构建对于评估跨语言稠密检索模型至关重要。Mr. TyDi 数据集应运而生，其芬兰语子集的训练部分——irds/mr-tydi_fi_train——由 ir-datasets 工具包精心整合而成。该数据集基于 TyDi QA 语料库，通过人工标注的方式为每个查询生成相关性判断（qrels），构建过程严格遵循多语言检索基准的统一标准，确保了跨语言任务的可比性与可靠性。

特点

该数据集的核心特点在于其专门针对芬兰语的信息检索任务设计，包含 6,561 条查询及其对应的相关性评估，为稠密检索模型的训练与评估提供了高质量的标注数据。其与 Mr. TyDi 多语言基准一脉相承，强调了语言多样性与检索难度的平衡，能够有效支持跨语言迁移学习与零样本检索场景的研究。此外，数据集以标准化的 ir-datasets 格式存储，便于与主流检索框架无缝集成。

使用方法

使用该数据集时，研究者可通过 Hugging Face Datasets 库的 load_dataset 函数轻松加载。具体而言，调用 `load_dataset('irds/mr-tydi_fi_train', 'queries')` 即可获取查询集合，每条记录包含 query_id 与文本内容；而 `load_dataset('irds/mr-tydi_fi_train', 'qrels')` 则返回相关性判断记录，涵盖 query_id、doc_id 与 relevance 字段。加载过程会自动下载数据，并提供清晰的访问指引，使得模型训练与评估流程简洁高效。

背景与挑战

背景概述

多语言信息检索是自然语言处理领域的重要研究方向，旨在突破语言壁垒，实现跨语言的知识获取。Mr. TyDi数据集由Xinyu Zhang、Xueguang Ma、Peng Shi与Jimmy Lin于2021年联合创建，基于TyDi QA语料库衍生而来，专注于密集检索任务的跨语言评估。该数据集覆盖了包括芬兰语在内的多种类型学上多样的语言，核心研究问题在于构建和评测能够应对低资源语言与复杂查询的稠密检索模型。Mr. TyDi的出现填补了多语言稠密检索基准的空白，推动了信息检索系统从单语向多语范式的演进，对跨语言问答、多语搜索引擎等领域产生了深远影响。

当前挑战

Mr. TyDi数据集所面临的挑战首先体现在领域问题的复杂性上：多语言稠密检索需要模型在语言形态、句法结构迥异的查询与文档间建立语义关联，尤其是低资源语言如芬兰语的训练数据稀缺，增加了模型泛化的难度。其次，在构建过程中，从TyDi QA中筛选和标注适合检索任务的查询-文档对需耗费大量人力，确保跨语言相关性判断的一致性与准确性亦是一大难题。此外，不同语言间语义对齐的偏差以及稠密向量空间中的跨语言迁移效果，仍构成制约数据集效用的关键瓶颈。

常用场景

经典使用场景

Mr. TyDi 芬兰语训练集（irds/mr-tydi_fi_train）是多语言密集检索基准的核心组成部分，广泛应用于跨语言信息检索系统的训练与评估。该数据集包含6,561条查询及其对应的相关性判断，研究者常将其作为密集检索模型（如DPR、ColBERT）的微调数据，旨在提升模型在低资源语言上的检索表现。通过结合多语言预训练模型（如XLM-R、mBERT），该数据集为探索语言间的语义对齐与迁移学习提供了标准化测试平台，成为多语言密集检索领域不可或缺的评估资源。

解决学术问题

该数据集系统性解决了多语言信息检索中低资源语言性能不足的学术难题。传统检索方法依赖大规模标注语料，而芬兰语等类型学多样性语言常面临数据匮乏困境。Mr. TyDi 通过提供高质量的人工标注查询-文档相关性对，为密集检索模型在跨语言场景下的泛化能力研究提供了实证基础。它推动了多语言稠密向量空间对齐、零样本跨语言检索等前沿问题的突破，显著提升了非英语语言的检索精度，为构建真正平等的多语言检索系统奠定了方法论与数据基础。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，包括密集检索模型的跨语言适配方法（如XLM-R结合对比学习的检索微调）、多语言查询生成技术，以及基于Mr. TyDi的多语言检索评估框架。后续工作如mDPR、XLM-Retrieval等均以该数据集为基准，验证模型在芬兰语等语言上的有效性。此外，TyDi QA 基准的提出进一步将检索与问答任务结合，推动了端到端多语言信息获取系统的发展，这些工作共同构成了多语言密集检索领域的核心研究脉络。