irds/mr-tydi_sw_train

`mr-tydi/sw/train`数据集由ir-datasets包提供，主要用于文本检索任务。该数据集包含2,072个查询（即主题）和2,401个相关性评估。文档部分需要使用`irds/mr-tydi_sw`数据集。

The `mr-tydi/sw/train` dataset, provided by the ir-datasets package, is primarily utilized for text retrieval tasks. It contains 2,072 queries (aka topics) and 2,401 relevance judgments, with its document corpus requiring the use of the `irds/mr-tydi_sw` dataset.

原始信息汇总

数据集概述

数据集名称

mr-tydi/sw/train

数据来源

• 原始数据集：irds/mr-tydi_sw

数据内容

• queries（主题）：数量为2,072
• qrels（相关性评估）：数量为2,401
• docs：使用数据集irds/mr-tydi_sw

数据使用示例

python from datasets import load_dataset

加载查询数据

queries = load_dataset(irds/mr-tydi_sw_train, queries) for record in queries: record # {query_id: ..., text: ...}

加载相关性评估数据

qrels = load_dataset(irds/mr-tydi_sw_train, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言检索基准的构建对于评估跨语言检索系统的性能至关重要。该数据集源自Mr. TyDi多语言检索基准，聚焦于斯瓦希里语（sw）的子集，并专门划分出训练集部分。其构建方式依托于ir-datasets框架，从原始的mr-tydi_sw数据集中提取了2,072条查询（queries）以及2,401条相关性评估（qrels），而文档数据则需引用irds/mr-tydi_sw数据集。这种模块化的设计使得查询、相关性判断与文档三者分离，便于研究者灵活组合与使用。

特点

该数据集的核心特点在于其针对低资源语言斯瓦希里语的专注性，为多语言密集检索研究提供了稀缺的标注资源。包含的2,072条查询覆盖了多样化的信息需求，而2,401条相关性评估则提供了细粒度的相关性判断（relevance），支持从二元到多级的相关性度量。此外，数据集的标准化格式与ir-datasets生态系统的无缝集成，确保了数据加载的便捷性与可复现性，降低了研究者的预处理成本。

使用方法

使用方法上，研究者可通过HuggingFace的datasets库直接加载该数据集。例如，调用load_dataset('irds/mr-tydi_sw_train', 'queries')可获取查询记录，每条记录包含query_id与text字段；调用load_dataset('irds/mr-tydi_sw_train', 'qrels')则可获取相关性评估，包含query_id、doc_id、relevance及iteration字段。需要注意的是，加载过程会触发数据下载或提供访问指引，文档数据需单独从irds/mr-tydi_sw加载，以实现完整的检索实验流程。

背景与挑战

背景概述

在多语言信息检索领域，随着全球化进程的加速，用户对跨语言文本检索的需求日益增长，然而现有基准测试多聚焦于英语，缺乏对语言类型多样性及检索难度的系统考量。在此背景下，由Xinyu Zhang、Xueguang Ma、Peng Shi与Jimmy Lin等研究者于2021年共同创建的Mr. TyDi数据集应运而生，该数据集基于TyDi QA的语料资源，专注于多语言稠密检索任务的评估。Mr. TyDi涵盖十一种类型学上多样化的语言，其中斯瓦希里语子集（mr-tydi/sw/train）提供了2072条查询与2401条相关性判断，为研究低资源语言的信息检索性能提供了宝贵的标准化测试平台。该数据集的发布不仅填补了多语言稠密检索基准的空白，还推动了跨语言表示学习与检索模型的进步，成为评估多语言信息获取系统能力的重要参照。

当前挑战

Mr. TyDi数据集面临的核心挑战包括：其一，多语言场景下的检索难题，尤其是低资源语言（如斯瓦希里语）中数据稀疏、语义表达多样，导致稠密检索模型难以捕捉跨语言的语义匹配关系，且现有预训练模型对非英语语言的覆盖不足，加剧了检索精度的波动。其二，数据集构建过程中的挑战，包括从多源语料中筛选高质量查询与相关性标注的复杂性，例如需确保查询的信息性与语言类型的代表性，同时避免标注偏差；此外，跨语言标注需要依赖多语种专家，成本高昂且一致性难以控制。这些因素共同制约了该数据集在真实应用场景中的泛化能力与模型鲁棒性。

常用场景

经典使用场景

作为多语言密集检索基准Mr. TyDi的核心训练子集，该数据集聚焦于斯瓦希里语的文本检索任务，涵盖2,072条查询及其对应的相关性判断，为跨语言信息检索研究提供了标准化的训练资源。研究者可借助其查询与相关性标签，训练或微调基于深度学习的密集检索模型，以捕捉不同语言间语义对齐的细微特征，从而在低资源语言场景下实现精准的文档排序。这一经典使用范式不仅推动了多语言检索系统的性能提升，更为后续探索语言多样性对检索模型泛化能力的影响奠定了实验基础。

解决学术问题

该数据集主要解决了多语言信息检索领域中低资源语言标注数据匮乏与模型评估标准不统一的问题。通过提供斯瓦希里语的标准化查询与相关性判断，它使得学术研究能够量化评估密集检索模型在非英语语言上的表现，进而探索跨语言语义匹配的共性规律与语言特异性挑战。其意义在于打破了以英语为中心的研究惯性，为构建真正面向全球语言多样性的检索系统提供了实证依据，并促进了多语言自然语言处理领域的公平性评估与可重复性研究。

衍生相关工作

该数据集衍生了多项经典研究工作，包括Mr. TyDi基准的提出及其对密集检索模型在多语言场景下的系统评估。后续工作如mContriever、mDPR等模型利用此数据集验证跨语言对比学习与预训练策略的有效性。此外，相关研究还探索了基于此数据集的零样本跨语言迁移方法，以及结合知识蒸馏技术提升低资源语言检索效率的框架，这些工作共同推动了多语言信息检索从理论走向实践，并为后续的多语言QA与对话系统研究提供了基础性支撑。