irds/wikir_en1k

wikir/en1k数据集是由ir-datasets包提供的一个大规模英文信息检索数据集，包含369,721个文档，用于文本检索任务。

---
数据集展示名: '`wikir/en1k`'
数据集查看器: 禁用
源数据集: []
任务类别:
- 文本检索
---

# `wikir/en1k` 数据集卡片
本`wikir/en1k`数据集由[ir-datasets](https://ir-datasets.com/)工具包提供。如需了解该数据集的更多详情，请参阅[官方文档](https://ir-datasets.com/wikir#wikir/en1k)。

# 数据
本数据集包含以下内容：
- `docs`（文档，即语料库）；共计369,721条。

## 使用方法
python
from datasets import load_dataset

docs = load_dataset('irds/wikir_en1k', 'docs')
for record in docs:
record # {'doc_id': ..., 'text': ...}

请注意，调用`load_dataset`函数将自动下载该数据集（若数据集未公开，则会提供获取指引），并将数据集转换为🤗数据集（Hugging Face Dataset）格式进行存储。

## 引用信息

@inproceedings{Frej2020Wikir,
title={WIKIR: A Python toolkit for building a large-scale Wikipedia-based English Information Retrieval Dataset},
author={Jibril Frej and Didier Schwab and Jean-Pierre Chevallet},
booktitle={LREC},
year={2020}
}
@inproceedings{Frej2020MlWikir,
title={MLWIKIR: A Python Toolkit for Building Large-scale Wikipedia-based Information Retrieval Datasets in Chinese, English, French, Italian, Japanese, Spanish and More},
author={Jibril Frej and Didier Schwab and Jean-Pierre Chevallet},
booktitle={CIRCLE},
year={2020}
}

原始信息汇总

数据集概述

数据集名称

• 名称: wikir/en1k

数据来源

• 来源: 由 ir-datasets 包提供

数据内容

• 内容: 包含 docs (文档，即语料库)
• 文档数量: 369,721

使用方法

• 加载方式: 使用 datasets.load_dataset 函数加载数据集
• 数据结构: 每个记录包含 doc_id 和 text

引用信息

• 参考文献:
  • Frej, Jibril, Didier Schwab, and Jean-Pierre Chevallet. "WIKIR: A Python toolkit for building a large-scale Wikipedia-based English Information Retrieval Dataset." LREC (2020).
  • Frej, Jibril, Didier Schwab, and Jean-Pierre Chevallet. "MLWIKIR: A Python Toolkit for Building Large-scale Wikipedia-based Information Retrieval Datasets in Chinese, English, French, Italian, Japanese, Spanish and More." CIRCLE (2020).