irds/mr-tydi_th_test

`mr-tydi/th/test`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含1,190个查询（queries）和1,368个相关评估（qrels）。文档部分需要使用`irds/mr-tydi_th`数据集。该数据集的使用方法通过`datasets`库加载，并提供了代码示例。

The `mr-tydi/th/test` dataset is provided by the `ir-datasets` package, mainly used for text retrieval tasks. This dataset contains 1,190 queries and 1,368 relevance qrels. The document part of this dataset requires the use of the `irds/mr-tydi_th` dataset. The dataset can be loaded through the `datasets` library, and corresponding code examples are provided.

原始信息汇总

Dataset Card for mr-tydi/th/test

Overview

• Dataset Name: mr-tydi/th/test
• Source: Provided by the ir-datasets package.
• Documentation: Link

Data Details

• Components:
  • queries: 1,190 topics
  • qrels: 1,368 relevance assessments
  • docs: Available via irds/mr-tydi_th

Usage Example

python from datasets import load_dataset

queries = load_dataset(irds/mr-tydi_th_test, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mr-tydi_th_test, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

Citation

@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言检索基准的构建对于评估跨语言信息获取能力至关重要。Mr. TyDi 数据集正是为此而生，其泰语测试子集 mr-tydi/th/test 源自大规模的 Mr. TyDi 多语言稠密检索基准。该数据集通过整合 TyDi QA 语料库中的问题与维基百科文档，经由人工标注相关性判断构建而成。具体而言，测试集包含 1,190 条查询及其对应的 1,368 个相关性评估（qrels），为评估检索模型在泰语场景下的表现提供了标准化的评估框架。

特点

该数据集的核心特点在于其聚焦于泰语这一类型学上独特的语言，填补了低资源语言在稠密检索评估中的空白。每个查询均包含查询标识符与文本内容，而 qrels 则记录查询与文档之间的相关性等级，支持多级相关性判断。数据集结构简洁，仅提供查询与相关性评估，文档部分则需通过配套的 irds/mr-tydi_th 数据集获取，这种模块化设计便于研究者灵活组合使用。

使用方法

使用该数据集时，可通过 Hugging Face Datasets 库便捷加载。研究者调用 load_dataset 函数，指定数据集名称 'irds/mr-tydi_th_test' 及子集参数 'queries' 或 'qrels'，即可分别获取查询列表与相关性评估。加载后的数据以字典形式呈现，包含查询标识符、文本内容及相关性分数等字段。需注意，文档数据需单独从 irds/mr-tydi_th 数据集加载，二者配合使用即可完成完整的检索实验流程。

背景与挑战

背景概述

多语言信息检索是自然语言处理领域的重要研究方向，旨在跨越语言障碍实现高效的知识获取。Mr. TyDi数据集由加拿大滑铁卢大学的研究团队于2021年创建，Xinyu Zhang、Xueguang Ma、Peng Shi和Jimmy Lin为核心贡献者。该数据集以TyDi QA为基础，聚焦于密集检索任务，覆盖包括泰语在内的11种语言，核心研究问题在于评估并推动多语言环境下稠密检索模型的性能。Mr. TyDi的提出填补了多语言检索基准的空白，为跨语言信息检索的发展提供了标准化评估平台，对推动低资源语言检索技术的进步具有深远影响。

当前挑战

当前Mr. TyDi泰语测试集面临多重挑战。首先，在领域问题层面，多语言检索需应对语言多样性带来的语义鸿沟，泰语作为低资源语言，其词形变化复杂、缺乏大规模标注数据，导致稠密检索模型难以捕捉细粒度语义关联。其次，在构建过程中，测试集仅包含1190条查询和1368条相关性判断，样本规模有限，可能无法全面反映真实检索场景的多样性。此外，跨语言迁移时，模型容易受到语言特异性噪声干扰，需解决领域适应与泛化能力不足的难题，这些挑战共同制约了多语言检索系统的实际落地效果。

常用场景

经典使用场景

Mr. TyDi 泰语测试集（mr-tydi/th/test）作为多语言密集检索基准的重要组成部分，其经典使用场景聚焦于评估和比较不同密集检索模型在泰语这一低资源语言上的检索性能。研究者通常利用该数据集中的1,190条查询及其对应的1,368条相关性判断，对基于Transformer的编码器架构（如DPR、ColBERT等）进行零样本或微调后的检索精度验证，从而揭示模型在形态丰富、语序灵活的泰语文本上的泛化能力。

实际应用

在实际应用层面，该数据集直接服务于泰语搜索引擎优化、跨语言知识库问答以及多语言文档管理系统。例如，在泰语新闻聚合平台中，基于该测试集调优的密集检索模型能够更精准地从海量泰语文档中检索出用户查询相关的内容；在跨国企业的多语言知识管理场景中，该数据集帮助验证检索系统对泰语法律条文或技术文档的覆盖能力，显著提升了低资源语言场景下的信息获取效率与用户满意度。

衍生相关工作

Mr. TyDi 泰语测试集衍生了一系列具有影响力的后续工作，包括多语言密集检索模型的跨语言迁移研究（如XLM-R与mBERT在泰语上的对比分析）、基于对比学习的低资源语言检索增强方法，以及融合词素特征的泰语检索预训练模型。此外，该数据集还催生了多语言检索评估框架（如MIRACL）中对泰语维度的扩展，并成为验证多任务学习范式在低资源检索场景有效性的关键实验平台，持续推动着多语言信息检索领域的学术创新。