irds/mr-tydi_id_dev

`mr-tydi/id/dev`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含1,224个查询（topics）和1,224个相关性评估（qrels）。文档部分需要使用`irds/mr-tydi_id`数据集。数据集的使用方法包括通过`datasets`库加载查询和相关性评估数据。

The `mr-tydi/id/dev` dataset is provided by the `ir-datasets` package and is primarily intended for text retrieval tasks. It contains 1,224 query topics and 1,224 relevance judgment qrels. For its document corpus, the `irds/mr-tydi_id` dataset must be utilized. The usage of this dataset involves loading the query and relevance judgment data via the `datasets` library.

原始信息汇总

数据集概述

数据集名称

mr-tydi/id/dev

数据提供者

由 ir-datasets 包提供。

数据内容

• queries: 查询（即主题），数量为1,224。
• qrels: 相关性评估，数量为1,224。
• docs: 文档数据，使用 irds/mr-tydi_id。

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/mr-tydi_id_dev, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mr-tydi_id_dev, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }

搜集汇总

数据集介绍

构建方式

该数据集源自Mr. TyDi多语言密集检索基准，专注于印尼语（id）领域的开发集（dev）。其构建基于TyDi QA语料库，通过人工标注的方式，为信息检索任务提供了1224条查询及其对应的相关性判断（qrels）。每条查询均来自真实用户的信息需求，并经过严格筛选以确保语言多样性和领域覆盖度。文档集合则复用irds/mr-tydi_id中的资源，从而形成了查询与文档之间的配对关系，为评估检索模型提供了标准化的测试环境。

特点

该数据集的核心特点在于其多语言与密集检索的融合设计。作为Mr. TyDi基准的印尼语子集，它专门针对低资源语言的检索挑战，提供了高质量的人工标注相关性评估。数据集包含1224个查询，每个查询均附带精确的文档相关性评分，支持细粒度的检索性能度量。此外，其与ir-datasets生态系统的无缝集成，确保了数据格式的标准化与可复现性，为跨语言信息检索研究提供了可靠的基准。

使用方法

使用该数据集时，可通过HuggingFace的datasets库便捷加载。用户需调用load_dataset('irds/mr-tydi_id_dev', 'queries')获取查询集合，每个记录包含查询ID与文本内容；调用load_dataset('irds/mr-tydi_id_dev', 'qrels')获取相关性判断，包含查询ID、文档ID及相关性等级。文档数据则需从irds/mr-tydi_id独立加载。该接口设计简化了数据预处理流程，便于研究者直接开展检索模型的训练与评估实验。

背景与挑战

背景概述

在信息检索领域，多语言稠密检索技术近年来备受关注，旨在跨越语言壁垒实现高效的知识获取。由Xinyu Zhang、Xueguang Ma、Peng Shi及Jimmy Lin于2021年提出的Mr. TyDi基准，正是针对这一核心研究问题而构建的，它专注于评估多语言环境下稠密检索模型的性能。该数据集基于TyDi QA语料库，覆盖了包括印尼语在内的多种类型学上多样化的语言，其中mr-tydi_id_dev子集专为印尼语设计，包含1224条查询及其对应的相关性判断。这一资源由Waterloo大学等机构的研究人员开发，为多语言检索系统的公平比较提供了标准化平台，显著推动了跨语言信息检索领域的发展。

当前挑战

Mr. TyDi数据集所解决的领域挑战在于多语言稠密检索中的语言多样性问题：现有模型在处理低资源或形态复杂的语言（如印尼语）时，常因语义表示不足而表现欠佳，亟需在跨语言对齐和检索精度上实现突破。在构建过程中，挑战主要源于数据标注的复杂性：从TyDi QA的问答对中提取相关性判断需依赖人工审核，以确保查询与文档的匹配准确性，同时维护语言间的类型学平衡，避免数据偏差。此外，印尼语特有的词汇歧义和句法结构增加了查询解析的难度，而数据集规模有限（仅1224条查询）也限制了模型的泛化能力，对后续研究提出了更细粒度评估的需求。

常用场景

经典使用场景

Mr. TyDi 印尼语开发集（irds/mr-tydi_id_dev）作为多语言稠密检索基准测试的核心组成部分，广泛应用于跨语言信息检索与问答系统的评估。该数据集包含1,224条查询及其对应的相关性判断，为研究者在印尼语场景下验证稠密检索模型、对比稀疏检索方法提供了标准化的测试平台。其典型使用场景包括训练和评估基于Transformer的密集段落检索器，以及检验多语言嵌入模型在低资源语言上的迁移能力。

衍生相关工作

基于 Mr. TyDi 数据集，学界涌现了一系列经典工作，如多语言稠密检索模型 mDPR、ColBERT 的多语言扩展版本以及基于跨语言知识蒸馏的检索方法。这些工作以 Mr. TyDi 为基准，深入探索了多语言嵌入空间的对齐、跨语言负采样策略以及融合稀疏与稠密特征的混合检索范式。此外，该数据集还催生了针对低资源语言检索的专门研究，包括数据增强技术和预训练语言模型的跨语言微调策略，显著丰富了多语言信息检索的理论体系。

数据集最近研究

最新研究方向

Mr. TyDi数据集作为多语言稠密检索领域的标杆性资源，其印尼语子集mr-tydi/id/dev正推动着低资源语言信息检索技术的边界。当前研究聚焦于利用该数据集训练跨语言嵌入模型，以应对印尼语等形态丰富语言的查询-文档匹配挑战。前沿方向包括结合多任务学习与对比预训练策略，在Mr. TyDi框架下优化稠密检索器的语言无关表示能力，进而提升零样本迁移至其他南岛语系的效果。该数据集在TyDi QA问答基准基础上延伸的检索任务，为评估多语言信息获取系统的鲁棒性提供了关键测试床，其影响力体现在催生了更高效的检索架构，并助力打破语言壁垒，促进全球知识平等访问。