irds/mr-tydi_te_train

---
pretty_name: '`mr-tydi/te/train`'
viewer: false
source_datasets: ['irds/mr-tydi_te']
task_categories:
- text-retrieval
---

# Dataset Card for `mr-tydi/te/train`

The `mr-tydi/te/train` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package.
For more information about the dataset, see the [documentation](https://ir-datasets.com/mr-tydi#mr-tydi/te/train).

# Data

This dataset provides:
- `queries` (i.e., topics); count=3,880
- `qrels`: (relevance assessments); count=3,880

- For `docs`, use [`irds/mr-tydi_te`](https://huggingface.co/datasets/irds/mr-tydi_te)

## Usage

```python
from datasets import load_dataset

queries = load_dataset('irds/mr-tydi_te_train', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/mr-tydi_te_train', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

```

Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the
data in 🤗 Dataset format.

## Citation Information

```
@article{Zhang2021MrTyDi,
title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval},
author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin},
year={2021},
journal={arXiv:2108.08787},
}
@article{Clark2020TyDiQa,
title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages},
author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki},
year={2020},
journal={Transactions of the Association for Computational Linguistics}
}
```

数据集展示名：`mr-tydi/te/train`
数据查看器：不可用
源数据集：['irds/mr-tydi_te']
任务类别：文本检索

# `mr-tydi/te/train` 数据集卡片

本`mr-tydi/te/train` 数据集由 [ir-datasets](https://ir-datasets.com/) 工具包提供。如需了解该数据集的更多详情，请参阅 [官方文档](https://ir-datasets.com/mr-tydi#mr-tydi/te/train)。

# 数据概况

本数据集包含以下内容：
- `查询集（即主题集）`：共计3880条
- `相关性标注（qrels）`：共计3880条
- 如需获取文档集，请使用 [`irds/mr-tydi_te`](https://huggingface.co/datasets/irds/mr-tydi_te) 数据集。

## 使用示例

python
from datasets import load_dataset

queries = load_dataset('irds/mr-tydi_te_train', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/mr-tydi_te_train', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

请注意，调用`load_dataset`函数将自动下载该数据集（若数据集未公开，则会提供获取指引），并将其转换为🤗 数据集格式进行本地存储。

## 引用信息

@article{Zhang2021MrTyDi,
title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval},
author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin},
year={2021},
journal={arXiv:2108.08787},
}
@article{Clark2020TyDiQa,
title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages},
author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki},
year={2020},
journal={Transactions of the Association for Computational Linguistics}
}

原始信息汇总

数据集概述

数据集名称

mr-tydi/te/train

数据来源

• 源数据集: irds/mr-tydi_te

任务类别

• 文本检索

数据内容

• queries（主题）: 数量=3,880
• qrels（相关性评估）: 数量=3,880
• docs（文档）: 使用数据集 irds/mr-tydi_te

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/mr-tydi_te_train, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mr-tydi_te_train, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }

搜集汇总

数据集介绍

构建方式

Mr. TyDi 多语言密集检索基准数据集中的泰卢固语训练子集，由 ir-datasets 包提供。该数据集构建于 TyDi QA 基准之上，专注于信息检索任务，包含 3,880 条查询及其对应的相关性判断（qrels）。查询与文档的映射关系通过 qrels 文件中的 query_id 和 doc_id 建立，而文档内容则需从关联的 irds/mr-tydi_te 数据集中获取。这种模块化设计确保了数据的高效组织与复用。

特点

该数据集以多语言密集检索为核心，聚焦泰卢固语这一类型学上独特的语言，为跨语言信息检索研究提供了稀缺资源。其显著特点在于查询与相关性判断的配对精确，共计 3,880 组，覆盖了多样化的信息需求场景。此外，数据集与 ir-datasets 生态深度整合，支持标准化访问，便于研究者进行模型训练与评估。

使用方法

用户可通过 Hugging Face Datasets 库便捷加载该数据集。调用 load_dataset('irds/mr-tydi_te_train', 'queries') 获取查询记录，每条包含 query_id 与 text 字段；调用 load_dataset('irds/mr-tydi_te_train', 'qrels') 获取相关性判断，包含 query_id、doc_id、relevance 及 iteration 字段。文档内容需单独从 irds/mr-tydi_te 加载，从而在检索任务中实现灵活的数据组合与处理。

背景与挑战

背景概述

在信息检索领域，多语言密集检索模型的评估长期受限于高质量基准数据集的匮乏，尤其是针对形态学多样语言的覆盖不足。Mr. TyDi 数据集由滑铁卢大学 Jimmy Lin 团队于 2021 年创建，旨在填补这一空白，其核心研究问题聚焦于如何构建跨语言且具备充分挑战性的检索基准。该数据集基于 TyDi QA 语料库，涵盖十一种类型学迥异的语言，通过人工标注查询与文档相关性，为多语言密集检索提供了标准化的评测平台。Mr. TyDi 的出现显著推动了多语言检索模型的发展，成为评估跨语言泛化能力的重要标杆，其影响力体现在后续密集检索研究中被广泛引用与采纳。

当前挑战

数据集面临的挑战主要体现在两方面：一是所解决的领域问题，即多语言密集检索中模型需应对不同语言的句法结构与词汇形态差异，尤其在低资源语言上易出现检索性能骤降，如何实现跨语言的鲁棒泛化仍是核心难题。二是构建过程中的挑战，包括确保标注质量的一致性，因涉及多种语言，需依赖大量母语者进行相关性判断，成本高昂且易引入主观偏差；此外，查询与文档的分布需平衡语言代表性，避免因数据倾斜导致评估失真，这对数据集的设计与验证提出了严苛要求。

常用场景

经典使用场景

Mr. TyDi 多语言检索基准数据集，其训练集部分（mr-tydi/te/train）专为评估和提升跨语言稠密检索模型而设计。在信息检索领域，该数据集通过提供泰卢固语等类型学多样语言的查询与相关性判断，成为衡量模型在多语言环境下语义匹配能力的经典测试平台。研究者常利用其3,880组查询及对应qrels，训练或微调基于Transformer的稠密检索架构，探索如何在不同语言间高效迁移检索知识。

实际应用

在实际应用中，该数据集训练出的检索模型可支撑多语言搜索引擎、全球知识库问答系统及跨语言文档管理平台。例如，面向印度泰卢固语地区的用户，模型能精准从海量混杂语料中定位相关信息，服务于本地化新闻聚合、教育资源检索及政府公共服务。其意义在于打破语言壁垒，使非英语用户也能平等获取数字信息，助力包容性信息社会的构建。

衍生相关工作

围绕此数据集，衍生出多项里程碑式工作。Zhang等人提出的Mr. TyDi原始论文首次系统对比了多语言稠密检索与稀疏检索的性能边界。后续工作如mContriever、LaBSE等模型利用该数据集验证跨语言表示预训练的有效性；此外，基于其查询-文档对构建的对抗性训练策略，催生了如XQA、TyDi QA等面向类型学多样性语言的问答基准，进一步拓展了多语言自然语言处理的研究版图。