irds/mr-tydi_sw

---
pretty_name: '`mr-tydi/sw`'
viewer: false
source_datasets: []
task_categories:
- text-retrieval
---

# Dataset Card for `mr-tydi/sw`

The `mr-tydi/sw` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package.
For more information about the dataset, see the [documentation](https://ir-datasets.com/mr-tydi#mr-tydi/sw).

# Data

This dataset provides:
- `docs` (documents, i.e., the corpus); count=136,689
- `queries` (i.e., topics); count=3,271
- `qrels`: (relevance assessments); count=3,767

This dataset is used by: [`mr-tydi_sw_dev`](https://huggingface.co/datasets/irds/mr-tydi_sw_dev), [`mr-tydi_sw_test`](https://huggingface.co/datasets/irds/mr-tydi_sw_test), [`mr-tydi_sw_train`](https://huggingface.co/datasets/irds/mr-tydi_sw_train)

## Usage

```python
from datasets import load_dataset

docs = load_dataset('irds/mr-tydi_sw', 'docs')
for record in docs:
record # {'doc_id': ..., 'text': ...}

queries = load_dataset('irds/mr-tydi_sw', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/mr-tydi_sw', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

```

Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the
data in 🤗 Dataset format.

## Citation Information

```
@article{Zhang2021MrTyDi,
title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval},
author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin},
year={2021},
journal={arXiv:2108.08787},
}
@article{Clark2020TyDiQa,
title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages},
author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki},
year={2020},
journal={Transactions of the Association for Computational Linguistics}
}
```

---
数据集名称：`mr-tydi/sw`
数据集查看器：禁用
源数据集：无
任务类别：
- 文本检索（text-retrieval）
---

# `mr-tydi/sw` 数据集卡片

本`mr-tydi/sw` 数据集由[ir-datasets](https://ir-datasets.com/)库提供。如需了解该数据集的更多详情，请参阅[官方文档](https://ir-datasets.com/mr-tydi#mr-tydi/sw)。

# 数据集构成

本数据集包含以下内容：
- `docs`（文档，即语料库）：共计136,689条
- `queries`（查询主题）：共计3,271条
- `qrels`（相关性标注结果）：共计3,767条

该数据集被以下数据集使用：[`mr-tydi_sw_dev`](https://huggingface.co/datasets/irds/mr-tydi_sw_dev)、[`mr-tydi_sw_test`](https://huggingface.co/datasets/irds/mr-tydi_sw_test) 与 [`mr-tydi_sw_train`](https://huggingface.co/datasets/irds/mr-tydi_sw_train)。

## 使用方法

python
from datasets import load_dataset

docs = load_dataset('irds/mr-tydi_sw', 'docs')
for record in docs:
record # {'doc_id': ..., 'text': ...}

queries = load_dataset('irds/mr-tydi_sw', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/mr-tydi_sw', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

请注意，调用`load_dataset`将下载该数据集（若数据集未公开，则会提供获取指引），并将数据以🤗 Dataset格式存储一份副本。

## 引用信息

@article{Zhang2021MrTyDi,
title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval},
author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin},
year={2021},
journal={arXiv:2108.08787},
}
@article{Clark2020TyDiQa,
title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages},
author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki},
year={2020},
journal={Transactions of the Association for Computational Linguistics}
}

原始信息汇总

数据集卡片 mr-tydi/sw

数据集概述

mr-tydi/sw 数据集由 ir-datasets 包提供。

数据内容

• 文档 (docs): 包含 136,689 个文档。
• 查询 (queries): 包含 3,271 个查询。
• 相关性评估 (qrels): 包含 3,767 个相关性评估。

使用方法

以下是使用 datasets 库加载数据集的示例代码：

python from datasets import load_dataset

docs = load_dataset(irds/mr-tydi_sw, docs) for record in docs: record # {doc_id: ..., text: ...}

queries = load_dataset(irds/mr-tydi_sw, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mr-tydi_sw, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言文本检索是极具挑战的研究方向，而Mr. TyDi基准正是为了评估密集检索模型在多语言场景下的表现而设计。mr-tydi_sw数据集作为该基准的斯瓦希里语子集，其构建基于TyDi QA语料库，通过精心的数据筛选与标注流程，形成了包含136,689篇文档、3,271条查询以及3,767个相关性评估的结构化资源。文档集覆盖了丰富的自然语言文本，查询则针对信息寻求意图设计，相关性判断采用多级标注体系，从而为多语言密集检索提供了可靠的训练与评估基础。

使用方法

研究人员可通过HuggingFace Datasets库便捷地加载该资源。使用load_dataset函数指定数据集名称'irds/mr-tydi_sw'及子集参数（如'docs'、'queries'、'qrels'），即可分别获取文档语料、查询集合与相关性标注。加载后的数据以字典格式呈现，包含唯一标识符与文本内容，支持直接用于密集检索模型的训练与评估。需注意，首次加载时将自动下载数据集并缓存为Datasets格式，后续调用可快速复用。该数据集已预划分为训练、开发与测试子集，用户可根据实验需求灵活选择对应部分。

背景与挑战

背景概述

多语言信息检索是自然语言处理领域的重要研究方向，旨在打破语言壁垒，使机器能够理解并检索不同语言中的知识。Mr. TyDi数据集由Xinyu Zhang、Xueguang Ma、Peng Shi和Jimmy Lin等研究人员于2021年提出，其核心研究问题在于为密集检索模型提供多语言基准测试平台。该数据集基于TyDi QA构建，涵盖斯瓦希里语等语言，共包含136,689篇文档、3,271个查询及3,767个相关性判断，显著推动了低资源语言检索技术的发展，为评估跨语言信息检索系统的鲁棒性提供了关键资源。

当前挑战

当前Mr. TyDi/Sw数据集面临的核心挑战包括：其一，斯瓦希里语作为低资源语言，其语料库规模有限且语言形态复杂，导致密集检索模型在训练时面临数据稀疏性问题，难以捕获深层的语义关联；其二，构建过程中需处理文档与查询之间的跨语言对齐难题，即如何确保不同语言表达下的相关性判断准确无误，这要求标注者具备双语能力，增加了数据收集的难度与成本。此外，该领域还面临模型泛化能力不足的挑战，现有技术在多语言场景下易受语言特异性干扰，难以实现与英语等资源丰富语言相媲美的检索性能。

常用场景

经典使用场景

Mr. TyDi 多语言检索基准数据集中的斯瓦希里语子集（irds/mr-tydi_sw）为低资源语言的信息检索研究提供了重要支撑。其经典使用场景聚焦于评估和训练面向斯瓦希里语的稠密检索模型，研究者借助该数据集包含的约13.7万篇文档、3271条查询及3767条相关性判断，可系统性地开展跨语言信息检索实验，从而探索在语言多样性背景下如何有效提升检索系统的鲁棒性与准确性。

解决学术问题

该数据集直面当前信息检索领域对低资源语言覆盖不足的学术困境。通过提供斯瓦希里语这一形态丰富、资源稀缺语言的标准化评测平台，它有效解决了多语言稠密检索中缺乏可靠基准的问题，推动了面向类型学差异显著语言的检索模型研发，其意义在于揭示了稀疏标注场景下模型泛化能力的边界，为构建真正意义上的通用信息获取系统奠定了方法论基础。

实际应用

在实际应用中，irds/mr-tydi_sw 数据集直接服务于东非地区斯瓦希里语用户的信息获取需求。基于该数据集训练的检索系统可被部署于本地化搜索引擎、数字图书馆问答平台以及医疗、农业等垂直领域的知识库中，帮助母语者跨越语言障碍高效获取结构化信息，从而在真实场景中弥合数字鸿沟，促进语言包容性技术的落地。

数据集最近研究

最新研究方向

在多语言信息检索领域，Mr. TyDi 数据集（特别是斯瓦希里语子集 mr-tydi/sw）正成为评估跨语言稠密检索模型性能的关键基准。当前前沿研究聚焦于如何利用多语言预训练模型（如 mBERT、XLM-R）在低资源语言上实现高效的相关性排序，斯瓦希里语作为非洲代表性语言，其检索任务的挑战性推动了零样本迁移学习与对比学习方法的突破。该数据集的引入不仅弥补了非英语检索资源的匮乏，还促进了多语言问答系统在真实场景中的应用，例如结合 TyDi QA 的跨语言信息寻求任务，对提升全球数字包容性具有深远意义。