irds/mr-tydi_bn

---
pretty_name: '`mr-tydi/bn`'
viewer: false
source_datasets: []
task_categories:
- text-retrieval
---

# Dataset Card for `mr-tydi/bn`

The `mr-tydi/bn` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package.
For more information about the dataset, see the [documentation](https://ir-datasets.com/mr-tydi#mr-tydi/bn).

# Data

This dataset provides:
- `docs` (documents, i.e., the corpus); count=304,059
- `queries` (i.e., topics); count=2,264
- `qrels`: (relevance assessments); count=2,292

This dataset is used by: [`mr-tydi_bn_dev`](https://huggingface.co/datasets/irds/mr-tydi_bn_dev), [`mr-tydi_bn_test`](https://huggingface.co/datasets/irds/mr-tydi_bn_test), [`mr-tydi_bn_train`](https://huggingface.co/datasets/irds/mr-tydi_bn_train)

## Usage

```python
from datasets import load_dataset

docs = load_dataset('irds/mr-tydi_bn', 'docs')
for record in docs:
record # {'doc_id': ..., 'text': ...}

queries = load_dataset('irds/mr-tydi_bn', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/mr-tydi_bn', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

```

Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the
data in 🤗 Dataset format.

## Citation Information

```
@article{Zhang2021MrTyDi,
title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval},
author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin},
year={2021},
journal={arXiv:2108.08787},
}
@article{Clark2020TyDiQa,
title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages},
author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki},
year={2020},
journal={Transactions of the Association for Computational Linguistics}
}
```

数据集简称：`mr-tydi/bn`
数据集查看器：不可用
源数据集：无
任务类别：文本检索（text-retrieval）

# `mr-tydi/bn` 数据集卡片

本`mr-tydi/bn`数据集由[ir-datasets](https://ir-datasets.com/)工具包提供。如需了解该数据集的更多详情，请参阅[官方文档](https://ir-datasets.com/mr-tydi#mr-tydi/bn)。

## 数据集内容
本数据集包含以下三类数据：
- `docs`（文档，即语料库，corpus）：共计304,059条
- `queries`（查询请求，即主题，topics）：共计2,264条
- `qrels`（相关性评估标注，relevance assessments）：共计2,292条

本数据集被以下数据集使用：[`mr-tydi_bn_dev`](https://huggingface.co/datasets/irds/mr-tydi_bn_dev)、[`mr-tydi_bn_test`](https://huggingface.co/datasets/irds/mr-tydi_bn_test)以及[`mr-tydi_bn_train`](https://huggingface.co/datasets/irds/mr-tydi_bn_train)

## 使用方法
python
from datasets import load_dataset

# 加载文档数据：每条记录包含`doc_id`（文档ID）与`text`（文档文本）字段
docs = load_dataset('irds/mr-tydi_bn', 'docs')
for record in docs:
record # {'doc_id': ..., 'text': ...}

# 加载查询请求数据：每条记录包含`query_id`（查询ID）与`text`（查询文本）字段
queries = load_dataset('irds/mr-tydi_bn', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

# 加载相关性标注数据：每条记录包含`query_id`（查询ID）、`doc_id`（文档ID）、`relevance`（相关性评分）与`iteration`（迭代轮次）字段
qrels = load_dataset('irds/mr-tydi_bn', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

请注意，调用`load_dataset`函数将自动下载该数据集（若数据集未公开，则会提供访问指引），并将数据转换为🤗数据集格式进行存储。

## 引用信息

@article{Zhang2021MrTyDi,
title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval},
author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin},
year={2021},
journal={arXiv:2108.08787},
}
@article{Clark2020TyDiQa,
title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages},
author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki},
year={2020},
journal={Transactions of the Association for Computational Linguistics}
}

原始信息汇总

数据集概述

数据集名称

mr-tydi/bn

数据提供者

由 ir-datasets 包提供。

数据内容

• docs (文档，即语料库); 数量=304,059
• queries (查询，即主题); 数量=2,264
• qrels (相关性评估); 数量=2,292

数据集用途

用于以下数据集：

• mr-tydi_bn_dev
• mr-tydi_bn_test
• mr-tydi_bn_train

使用示例

python from datasets import load_dataset

docs = load_dataset(irds/mr-tydi_bn, docs) queries = load_dataset(irds/mr-tydi_bn, queries) qrels = load_dataset(irds/mr-tydi_bn, qrels)

引用信息

@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }

搜集汇总

数据集介绍

构建方式

在信息检索领域中，多语言检索能力的研究日益受到关注。Mr. TyDi数据集正是为评估密集检索模型在多语言场景下的表现而构建的基准资源。该数据集的孟加拉语子集（mr-tydi/bn）基于TyDi QA问答语料库进行改造，通过将问答对转化为检索任务，构建了包含文档集、查询集和相关性判断三元组的检索基准。具体而言，文档集包含304,059篇孟加拉语文本，查询集包含2,264个信息需求表述，而相关性判断（qrels）则提供了2,292条查询与文档之间的关联标注，为评估检索系统性能提供了标准化依据。

特点

该数据集具备鲜明的多语言与任务适配特性。作为多语言密集检索基准的一部分，mr-tydi/bn聚焦于形态丰富的孟加拉语，填补了低资源语言在检索评估中的空白。其构建逻辑保留了TyDi QA中信息寻求型问题的自然性，使得查询更贴近真实用户需求。此外，数据集提供了明确的训练、验证与测试划分，支持从模型训练到性能评估的完整流程。文档与查询均以纯文本形式存储，便于直接应用于各类密集检索框架。

使用方法

使用该数据集时，可通过HuggingFace Datasets库便捷加载。用户调用load_dataset函数并指定子集名称（如'docs'、'queries'或'qrels'），即可分别获取文档语料、查询集合以及相关性标注。文档数据以'doc_id'和'text'字段组织，查询则包含'query_id'与'text'，而相关性判断记录查询与文档的匹配程度及迭代信息。开发者可直接将这些数据输入到检索模型中，进行训练或评估。值得注意的是，首次加载时会自动下载数据并在本地缓存，确保后续使用的效率。

背景与挑战

背景概述

在信息检索领域，多语言稠密检索模型的评估长期受限于高质量基准数据的匮乏。为填补这一空白，由滑铁卢大学Jimmy Lin教授团队主导，联合Google Research等机构的研究人员，于2021年创建了Mr. TyDi多语言基准数据集。该数据集以孟加拉语子集mr-tydi/bn为代表，聚焦于信息寻求型问答场景，包含约30万篇文档、2264条查询及2292条相关性判断，旨在系统评估稠密检索模型在类型学多样性语言上的表现。作为TyDi QA的延伸，Mr. TyDi通过引入跨语言检索任务，显著推动了多语言信息检索领域的发展，为低资源语言的检索系统研究提供了标准化测试平台。

当前挑战

该数据集面临的核心挑战在于多语言检索的领域复杂性：首先，孟加拉语作为低资源语言，其词形变化丰富、语料规模有限，导致稠密检索模型难以学习到鲁棒的语义表示；其次，查询与文档之间的相关性判断需兼顾文化语境与语言特性，标注一致性维护困难。在构建过程中，研究者需应对跨语言标注质量控制的挑战，确保不同语言子集之间评估标准的可迁移性，同时平衡语料覆盖范围与标注成本。此外，现有模型在mr-tydi/bn上的表现仍显著弱于高资源语言，揭示出跨语言泛化能力不足这一长期瓶颈。

常用场景

经典使用场景

在信息检索与自然语言处理交叉领域，mr-tydi/bn数据集作为多语言稠密检索基准Mr. TyDi的孟加拉语子集，其经典使用场景聚焦于评估和训练面向低资源语言的稠密段落检索模型。该数据集包含超过30万篇文档、2264条查询及对应的相关性标注，为研究者提供了在孟加拉语这一形态丰富、资源稀缺的语言上，验证基于双编码器或交叉编码器的稠密检索架构性能的标准化平台。通过该数据集，学界得以系统性地对比稀疏检索（如BM25）与稠密检索在多语言环境下的效果差异，尤其关注跨语言知识迁移与零样本检索能力的评测。

解决学术问题

该数据集的核心学术贡献在于填补了多语言稠密检索研究中低资源语言评估基准的空白。长期以来，信息检索领域的基准测试主要集中在英语等资源丰富的语言上，导致稠密检索模型对形态复杂、训练数据匮乏的语言泛化能力欠缺系统性验证。mr-tydi/bn通过提供高质量的人工标注相关性数据，使研究者能够量化分析模型在孟加拉语上的检索精度、跨语言对齐效率以及语言特异性难题（如词形变化、复合词处理）。这一工作推动了多语言稠密检索从理论探索走向可复现的实证研究，为构建真正覆盖全球语言多样性的信息获取系统奠定了方法论基础。

衍生相关工作

mr-tydi/bn数据集衍生了一系列推动多语言检索前沿的重要工作。基于该数据集，研究者提出了面向低资源语言的跨语言稠密检索框架，例如通过多任务学习联合建模双语对齐与检索目标，或利用知识蒸馏将高资源语言模型的能力迁移至孟加拉语。同时，该数据集催生了针对形态复杂语言的子词分词策略优化研究，以及结合外部知识库增强检索语义匹配的方法。在模型架构层面，后续工作探索了将对比学习与负采样技术结合以提升低资源语言检索鲁棒性，这些成果均以mr-tydi/bn作为核心评测基准，共同推动了多语言信息检索从英语中心主义向语言包容性范式的转变。