irds/wikiclir_uk

---
pretty_name: '`wikiclir/uk`'
viewer: false
source_datasets: []
task_categories:
- text-retrieval
---

# Dataset Card for `wikiclir/uk`

The `wikiclir/uk` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package.
For more information about the dataset, see the [documentation](https://ir-datasets.com/wikiclir#wikiclir/uk).

# Data

This dataset provides:
- `docs` (documents, i.e., the corpus); count=704,903
- `queries` (i.e., topics); count=348,222
- `qrels`: (relevance assessments); count=913,358

## Usage

```python
from datasets import load_dataset

docs = load_dataset('irds/wikiclir_uk', 'docs')
for record in docs:
record # {'doc_id': ..., 'title': ..., 'text': ...}

queries = load_dataset('irds/wikiclir_uk', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/wikiclir_uk', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

```

Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the
data in 🤗 Dataset format.

## Citation Information

```
@inproceedings{sasaki-etal-2018-cross,
title = "Cross-Lingual Learning-to-Rank with Shared Representations",
author = "Sasaki, Shota and
Sun, Shuo and
Schamoni, Shigehiko and
Duh, Kevin and
Inui, Kentaro",
booktitle = "Proceedings of the 2018 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers)",
month = jun,
year = "2018",
address = "New Orleans, Louisiana",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/N18-2073",
doi = "10.18653/v1/N18-2073",
pages = "458--463"
}
```

---
数据集展示名：`wikiclir/uk`
数据集查看器：禁用
源数据集：无
任务类别：文本检索
---

# `wikiclir/uk` 数据集卡片
本数据集由 [ir-datasets](https://ir-datasets.com/) 工具包提供。如需了解该数据集的详细信息，请参阅 [官方文档](https://ir-datasets.com/wikiclir#wikiclir/uk)。

# 数据集内容
本数据集包含以下三类数据：
- `docs`（文档语料库）：总计704,903条
- `queries`（查询主题）：总计348,222条
- `qrels`（相关性标注）：总计913,358条

## 使用方法
python
from datasets import load_dataset

docs = load_dataset('irds/wikiclir_uk', 'docs')
for record in docs:
record # {'doc_id': ..., 'title': ..., 'text': ...}

queries = load_dataset('irds/wikiclir_uk', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/wikiclir_uk', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

请注意，调用`load_dataset`函数将自动下载该数据集（若数据集未公开，则会提供获取指引），并将数据转换为🤗 Datasets格式的副本。

## 引用信息
bibtex
@inproceedings{sasaki-etal-2018-cross,
title = "基于共享表征的跨语言学习排序",
author = "佐佐木翔太、孙硕、沙莫尼·秀彦、杜凯、井上健太郎",
booktitle = "2018年北美计算语言学协会年会论文集：人类语言技术，第2卷（短篇论文）",
month = "6月",
year = "2018",
address = "美国路易斯安那州新奥尔良",
publisher = "美国计算语言学协会",
url = "https://aclanthology.org/N18-2073",
doi = "10.18653/v1/N18-2073",
pages = "458--463"
}

原始信息汇总

数据集概述

数据集名称

wikiclir/uk

数据集来源

由ir-datasets包提供。

数据集内容

• 文档 (docs): 704,903 条记录
• 查询 (queries): 348,222 条记录
• 相关性评估 (qrels): 913,358 条记录

数据集用途

用于文本检索任务。

数据集加载示例

python from datasets import load_dataset

加载文档数据

docs = load_dataset(irds/wikiclir_uk, docs) for record in docs: record # {doc_id: ..., title: ..., text: ...}

加载查询数据

queries = load_dataset(irds/wikiclir_uk, queries) for record in queries: record # {query_id: ..., text: ...}

加载相关性评估数据

qrels = load_dataset(irds/wikiclir_uk, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@inproceedings{sasaki-etal-2018-cross, title = "Cross-Lingual Learning-to-Rank with Shared Representations", author = "Sasaki, Shota and Sun, Shuo and Schamoni, Shigehiko and Duh, Kevin and Inui, Kentaro", booktitle = "Proceedings of the 2018 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers)", month = jun, year = "2018", address = "New Orleans, Louisiana", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/N18-2073", doi = "10.18653/v1/N18-2073", pages = "458--463" }

搜集汇总

数据集介绍

构建方式

在跨语言信息检索领域，数据集的质量与规模直接决定了模型的泛化能力。irds/wikiclir_uk数据集源自ir-datasets项目，是一个面向乌克兰语文本检索任务的大规模语料库。其构建基于维基百科的乌克兰语版本，通过系统化的文档抓取与结构化处理，形成了包含704,903篇文档的检索语料库。同时，该数据集整合了348,222条查询语句与913,358条相关性评估记录（qrels），为跨语言学习排序任务提供了坚实的标注基础。文档以标准字段形式组织，包含标题与正文内容，确保数据在检索实验中的可用性与一致性。

使用方法

使用该数据集时，可通过HuggingFace的datasets库便捷加载。调用load_dataset('irds/wikiclir_uk', 'docs')即可获取文档集，遍历每条记录可访问doc_id、title与text字段。同理，load_dataset('irds/wikiclir_uk', 'queries')加载查询集，load_dataset('irds/wikiclir_uk', 'qrels')加载相关性评估数据。加载过程会自动下载数据集并在本地缓存为HuggingFace Dataset格式，用户可直接进行后续的模型训练、检索排序或跨语言实验。该接口设计简洁，降低了大规模检索任务的数据处理门槛。

背景与挑战

背景概述

跨语言信息检索是自然语言处理领域的重要研究方向，旨在突破语言壁垒，使用户能够以源语言查询获取目标语言文档。在此背景下，wikiclir/uk数据集应运而生，由Sasaki、Sun、Schamoni、Duh和Inui等学者于2018年构建，其核心研究问题聚焦于如何通过共享表示实现跨语言学习排序。该数据集基于维基百科资源，包含超过70万篇英文文档、近35万条查询以及逾91万条相关性判断，为跨语言检索模型的训练与评估提供了大规模、高质量的基准资源。自发布以来，wikiclir/uk在推动跨语言信息检索领域的发展中发挥了关键作用，成为验证共享表示学习策略有效性的重要平台。

当前挑战

wikiclir/uk数据集所面临的挑战首先体现在跨语言信息检索的领域难题上：不同语言间的语义鸿沟使得查询与文档的匹配极为困难，传统单语言检索模型难以直接迁移，而共享表示学习虽具潜力，却面临语言特异性特征与通用语义表征之间的平衡问题。在数据集构建过程中，挑战同样显著：从海量维基百科页面中筛选并标注跨语言相关性需要耗费大量人力与时间，确保查询与文档的语义对应关系准确无误尤为艰巨；此外，处理不同语言版本维基百科之间的内容差异、格式不统一以及噪声数据，进一步增加了构建高质量语料库的复杂性。

常用场景

经典使用场景

在跨语言信息检索领域，wikiclir/uk数据集作为一项重要的基准资源，被广泛用于评估和训练跨语言文档排序模型。该数据集以英语查询与多语言维基百科文档之间的相关性标注为核心，提供了超过七十万篇文档、近三十五万条查询以及近百万条相关性判断，为研究者构建跨语言学习排序框架提供了坚实的数据基础。其经典使用场景包括在共享表示空间中学习语言无关的文档表示，从而实现对不同语言查询与文档的相关性建模。

解决学术问题

该数据集直面的核心学术挑战在于如何跨越语言壁垒实现有效的文档检索。传统的单语言检索模型在面对多语言环境时往往性能骤降，而wikiclir/uk通过提供大规模、高质量的多语言相关性标注，使得研究者能够系统性地探索跨语言表示学习、迁移学习以及共享语义空间构建等关键问题。其意义在于推动了跨语言信息检索从理论走向实证，为验证跨语言排序模型的泛化能力提供了标准化的实验平台，显著影响了后续多语言自然语言处理的研究范式。

实际应用

在实际应用层面，wikiclir/uk数据集所支撑的技术可广泛应用于全球知识库的跨语言访问场景，例如国际学术文献检索、跨国企业知识管理以及多语言用户查询系统。基于该数据集训练的模型能够帮助用户使用母语高效检索其他语言撰写的文档内容，极大降低了语言障碍对信息获取的阻碍。此外，该数据集还可用于开发面向维基百科的多语言问答系统，提升跨语言信息服务的实用性与覆盖面，具有显著的社会与商业价值。

数据集最近研究

最新研究方向

跨语言信息检索与表示学习的前沿探索中，wikiclir/uk数据集作为大规模跨语言检索基准，正推动着多语言语义对齐与零样本迁移学习的研究浪潮。该数据集涵盖逾70万篇文档与近35万条查询，其规模与双语标注质量使其成为评估跨语言学习排序模型的关键资源。当前，研究者聚焦于利用共享表示空间弥合语言鸿沟，通过对比学习与对抗训练等范式，实现源语言查询对目标语言文档的高效匹配。这一方向不仅呼应了全球化背景下多语种信息获取的迫切需求，更在低资源语言处理、多语言问答系统等热点应用中展现出深远潜力，为构建真正意义上的通用信息检索引擎奠定了数据基石。