irds/mr-tydi_id

`mr-tydi/id`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含三个主要部分：`docs`（文档，即语料库），数量为1,469,399；`queries`（查询，即主题），数量为6,977；和`qrels`（相关性评估），数量为7,087。该数据集被用于`mr-tydi_id_dev`、`mr-tydi_id_test`和`mr-tydi_id_train`等子数据集。

The `mr-tydi/id` dataset is provided by the `ir-datasets` package and is primarily used for text retrieval tasks. It comprises three core components: `docs` (documents, i.e., the corpus) with a total of 1,469,399 entries; `queries` (i.e., topics) with a total of 6,977 entries; and `qrels` (i.e., relevance assessments) with a total of 7,087 entries. This dataset includes subsets such as `mr-tydi_id_dev`, `mr-tydi_id_test`, and `mr-tydi_id_train`.

原始信息汇总

数据集概述

数据集名称

mr-tydi/id

数据提供者

由 ir-datasets 提供。

数据内容

• 文档 (docs): 总数为 1,469,399。
• 查询 (queries): 总数为 6,977。
• 相关性评估 (qrels): 总数为 7,087。

数据使用

该数据集被用于以下子集：

• mr-tydi_id_dev
• mr-tydi_id_test
• mr-tydi_id_train

数据加载示例

python from datasets import load_dataset

docs = load_dataset(irds/mr-tydi_id, docs) queries = load_dataset(irds/mr-tydi_id, queries) qrels = load_dataset(irds/mr-tydi_id, qrels)

引用信息

@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言文本检索是自然语言处理的重要挑战之一。Mr. TyDi 基准数据集正是为评估密集检索模型在多语言场景下的表现而构建，其中 'mr-tydi/id' 是针对印度尼西亚语（Bahasa Indonesia）的子集。该数据集基于 ir-datasets 包提供，其语料库（docs）包含约 146.9 万个文档，查询（queries）数量为 6977 条，并附带 7087 条相关性判断（qrels），这些判断构成了评估检索效果的黄金标准。文档与查询均以文本形式存储，并配有唯一标识符，便于索引与匹配。

特点

该数据集的特点在于其多语言密集检索的定位，聚焦于印度尼西亚语这一非英语语言，填补了低资源语言检索基准的空白。语料库规模庞大，涵盖了多样化主题的文档，确保了检索任务的真实性与挑战性。查询集与相关性判断由人工标注，保证了评估的可靠性。此外，数据集被划分为训练、验证和测试子集，为模型开发与评估提供了标准化的流程，尤其适用于评估跨语言密集检索模型的泛化能力。

使用方法

在 Hugging Face 生态中，用户可通过 datasets 库便捷地加载该数据集。具体而言，调用 load_dataset('irds/mr-tydi_id', 'docs') 可获取文档集合，每条记录包含 doc_id 与 text 字段；load_dataset('irds/mr-tydi_id', 'queries') 则返回查询记录，包含 query_id 与 text；而 load_dataset('irds/mr-tydi_id', 'qrels') 提供相关性判断，涵盖 query_id、doc_id 及 relevance 等级。加载后，数据以 Hugging Face Dataset 格式存储，支持迭代与批量处理，便于集成至检索模型的训练与评估流程。

背景与挑战

背景概述

在信息检索领域，多语言检索的复杂性长期困扰着研究者，不同语言在句法结构、词汇表达和语义蕴含上的巨大差异，使得构建普适性的检索模型成为一项艰巨挑战。Mr. TyDi（Multi-lingual Benchmark for Dense Retrieval）数据集正是在此背景下应运而生，由加拿大滑铁卢大学Jimmy Lin教授团队于2021年创建，其核心研究问题聚焦于评估和推动稠密检索模型在多语言场景下的表现。该数据集以印尼语为具体语言分支（mr-tydi/id），包含约147万篇文档、近7000条查询及相应的相关性标注，为多语言稠密检索提供了标准化的测试基准。其影响力在于，不仅填补了低资源语言检索基准的空白，更通过统一的评估框架，促进了跨语言信息检索技术的突破性进展。

当前挑战

当前mr-tydi/id数据集面临的核心挑战体现在两个层面。在领域问题层面，多语言稠密检索需要解决跨语言语义对齐的难题，即如何让模型在英语等资源丰富语言上训练的表示能力，有效迁移至印尼语这类形态复杂、资源有限的语种，避免因词汇重叠度低或句法差异导致的检索偏差。在数据集构建层面，挑战包括：1）确保查询的真实性与多样性，即从TyDi QA问答数据中提取的信息寻求型查询，需覆盖广泛主题并避免与文档内容的直接重复；2）相关性标注的可靠性，由于依赖人工判断，不同标注者可能对“相关”定义存在主观差异，影响评估一致性；3）语料库的时效性与覆盖度，印尼语作为活跃语言，新词与表达不断涌现，静态数据集可能难以反映真实检索场景的动态变化。

常用场景

经典使用场景

Mr. TyDi 印尼语子集（irds/mr-tydi_id）作为多语言密集检索基准的核心组成部分，被广泛用于评估和训练跨语言信息检索模型。该数据集包含约147万篇文档、近7000条查询及对应的相关性判断，为研究者提供了构建和测试印尼语检索系统的标准化平台。其经典应用在于验证密集检索模型在低资源语言上的泛化能力，通过对比稀疏检索与密集检索在印尼语场景中的表现，推动多语言检索技术从理论走向实践。

解决学术问题

该数据集有效解决了多语言信息检索中低资源语言评估基准匮乏的学术困境。传统检索基准多集中于英语等高资源语言，导致模型对印尼语等语种的检索效果难以量化。Mr. TyDi 印尼语子集通过提供大规模、高质量的人工标注数据，使得研究者能够系统性地探究跨语言表示学习、零样本迁移以及多语言预训练模型在检索任务中的局限性，为构建语言无关的通用检索框架奠定了实证基础。

衍生相关工作

基于Mr. TyDi 印尼语子集，衍生出多项经典工作，包括多语言密集检索模型mBERT与XLM-R的微调适配研究、跨语言检索中的负采样策略优化，以及结合对比学习增强多语言表示对齐的方法。该数据集亦是Mr. TyDi整体基准中不可或缺的一环，与英语、阿拉伯语等其他语种子集共同推动了多语言检索领域的标准化评估，催生了如ColBERT-X等跨语言检索框架的迭代创新。