irds/mr-tydi_bn_dev

`mr-tydi/bn/dev`数据集由ir-datasets包提供，主要用于文本检索任务。该数据集包含440个查询（即主题）和443个相关评估（qrels）。文档部分需要使用`irds/mr-tydi_bn`数据集。数据集的使用示例展示了如何加载查询和相关评估，并处理这些数据。引用信息包括两篇研究论文，分别讨论了多语言密集检索基准和信息寻求问答基准。

---
数据集名称: '`mr-tydi/bn/dev`'
数据集查看器: 禁用
源数据集: ['irds/mr-tydi_bn']
任务类别:
- 文本检索
---

# `mr-tydi/bn/dev` 数据集卡片

本`mr-tydi/bn/dev`数据集由[ir-datasets](https://ir-datasets.com/)工具包提供。
如需了解该数据集的更多详情，请参阅[官方文档](https://ir-datasets.com/mr-tydi#mr-tydi/bn/dev)。

# 数据内容

本数据集包含以下内容：
- `queries`（即查询主题）：共计440条
- `qrels`（相关性标注集）：共计443条

如需获取`docs`（文档集），请使用 [`irds/mr-tydi_bn`](https://huggingface.co/datasets/irds/mr-tydi_bn)

## 使用方法

python
from datasets import load_dataset

queries = load_dataset('irds/mr-tydi_bn_dev', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/mr-tydi_bn_dev', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

注意：调用`load_dataset`函数将自动下载该数据集（若数据集未公开，则会提供访问指引），并将数据以🤗 Hugging Face数据集格式存储副本。

## 引用信息

@article{Zhang2021MrTyDi,
title={{Mr. TyDi}: 面向密集检索的多语言基准数据集},
author={张新宇、马学广、史鹏、吉米·林},
year={2021},
journal={arXiv:2108.08787},
}
@article{Clark2020TyDiQa,
title={{TyDi QA}: 面向类型学多样语言的信息检索问答基准数据集},
author={乔纳森·H·克拉克、崔恩率、迈克尔·柯林斯、丹·加勒特、汤姆·克维亚特科夫斯基、维塔利·尼古拉耶夫、珍妮玛丽亚·帕洛马基},
year={2020},
journal={《计算语言学协会会刊》（Transactions of the Association for Computational Linguistics）}
}

原始信息汇总

数据集概述

数据集名称

mr-tydi/bn/dev

数据来源

• 源数据集：irds/mr-tydi_bn

数据内容

• queries（查询）：共440条
• qrels（相关性评估）：共443条
• docs（文档）：使用irds/mr-tydi_bn数据集

数据使用示例

python from datasets import load_dataset

queries = load_dataset(irds/mr-tydi_bn_dev, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mr-tydi_bn_dev, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言基准测试对于评估检索系统的泛化能力至关重要。Mr. TyDi数据集正是为此而生，其孟加拉语子集的开发集（mr-tydi/bn/dev）源自TyDi QA语料库，由Zhang等人于2021年构建。该数据集通过整合信息寻求型问答对，并经由人工标注相关性判断（qrels）而形成，共包含440条查询主题和443条相关性评估记录。文档部分则独立存储于irds/mr-tydi_bn中，查询与文档通过唯一标识符关联，确保了数据结构的清晰与可扩展性。

特点

该数据集的核心特点在于其多语言与任务导向性，专注于孟加拉语这一类型学上多样的语言，为密集检索模型提供细粒度的评估基准。其查询源自真实用户信息需求，覆盖广泛主题，而相关性判断采用分级标注，能够区分不同程度的相关性。此外，数据集规模虽小但精炼，440条查询与对应文档的配对足以进行统计显著的性能比较，尤其适用于低资源语言的检索系统开发与验证。

使用方法

使用该数据集时，研究人员可通过HuggingFace的datasets库便捷加载，具体调用load_dataset函数并指定数据集名称'irds/mr-tydi_bn_dev'及子集'queries'或'qrels'即可获取查询与相关性判断。加载后的数据以字典形式呈现，包含查询标识符与文本内容，或文档标识符与相关性分数。需注意，文档数据需另行加载'irds/mr-tydi_bn'，通过查询与文档ID的匹配构建完整的检索测试集，适用于评估模型的排序与召回能力。

背景与挑战

背景概述

在多语言信息检索领域，语言多样性与资源不均衡长期制约着密集检索模型的发展。为填补这一空白，Xinyu Zhang、Xueguang Ma、Peng Shi与Jimmy Lin于2021年提出了Mr. TyDi基准，旨在系统评估多语言场景下的密集检索性能。该数据集基于TyDi QA构建，后者由Google Research的Jonathan H. Clark等人于2020年发布，专注于类型学多样语言中的信息寻求型问答任务。Mr. TyDi涵盖了包括孟加拉语在内的十一种语言，其孟加拉语开发集（mr-tydi_bn_dev）包含440个查询与443个相关性判断，为低资源语言的检索研究提供了标准化的评估平台。该基准的提出不仅推动了多语言密集检索的学术探索，也为跨语言信息获取系统的实用化奠定了重要基础。

当前挑战

当前Mr. TyDi数据集面临的核心挑战体现在两个层面。在领域问题层面，多语言密集检索需应对语言间显著的形态句法差异与语义鸿沟，尤其是孟加拉语等低资源语言缺乏大规模预训练语料，导致模型难以捕捉细粒度的查询-文档相关性。此外，跨语言检索中普遍存在的领域迁移问题，使得在单一语言上训练的模型泛化至其他语言时性能显著下降。在数据集构建层面，挑战源于人工标注的高成本与质量控制难度，440个查询的规模虽具代表性，但相较于英语基准仍显不足，可能影响评估的统计稳定性。同时，相关性判断的标注一致性在多语言环境下更易受标注者语言能力差异的影响，增加了数据噪声与偏差风险。

常用场景

经典使用场景

在跨语言信息检索的学术疆域中，Mr. TyDi 数据集以其对孟加拉语（bn）的专注，为研究者提供了一个弥合语言鸿沟的珍贵实验场。该数据集的开发子集包含440条查询及其对应的相关性评估，构成了评估稠密检索模型在低资源语言上表现的核心基准。经典的使用场景在于，研究者可借助此数据集训练和测试能够理解孟加拉语查询并精准定位相关文档的检索系统，从而推动多语言信息获取技术的边界。这一过程不仅验证了模型在非英语语境下的泛化能力，更揭示了语言特异性对检索性能的深远影响。

衍生相关工作

围绕 Mr. TyDi 数据集，学术界已涌现出一系列具有影响力的衍生工作。最为经典的是其原始论文《Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval》，该研究首次系统性地构建了多语言稠密检索基准，并提出了基于多任务学习的基线模型。此外，后续工作如基于该数据集改进的 ColBERT 多语言变体、以及利用知识蒸馏技术增强低资源语言检索性能的方法，均在此数据集上进行了验证。这些衍生工作不仅深化了对跨语言表示对齐机制的理解，还催生了诸如 mBERT、XLM-R 等预训练模型在检索任务上的适配研究，共同构筑了多语言信息检索领域的繁荣生态。

数据集最近研究

最新研究方向

当前，多语言信息检索领域正迎来密集检索模型与传统稀疏检索方法深度融合的范式变革。作为面向类型学多样语言设计的基准，Mr. TyDi数据集中的孟加拉语子集（mr-tydi/bn/dev）为低资源语言的信息获取研究提供了关键评估平台。前沿研究聚焦于利用该数据集验证跨语言稠密向量表征的泛化能力，尤其关注在孟加拉语等形态复杂语言上，预训练语言模型微调策略对检索精度的提升效果。随着多语言问答系统在全球化场景中的需求激增，该数据集已成为衡量模型在低资源语言上零样本迁移能力的重要标杆，其440条查询与443条相关性判断构成的评估集，为探索语言间语义对齐技术、缓解数据稀疏性问题提供了实证基础，推动着更具包容性的多语言信息获取系统的演进。