irds/dpr-w100

`dpr-w100`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含21,015,324个文档，每个文档包含`doc_id`、`text`和`title`字段。用户可以通过`datasets`库的`load_dataset`函数加载该数据集，并且会下载数据集或提供访问指令。

The `dpr-w100` dataset is provided by the `ir-datasets` package, and is primarily used for text retrieval tasks. It contains 21,015,324 documents, each of which includes the fields `doc_id`, `text` and `title`. Users can load this dataset via the `load_dataset` function of the `datasets` library, which will either download the dataset or provide access instructions.

原始信息汇总

数据集概述

数据集名称

dpr-w100

数据来源

由 ir-datasets 包提供。

数据集描述

dpr-w100 数据集主要用于文本检索任务。

语言

英语 (en)

数据内容

• docs：文档集合，总计21,015,324条记录。

数据结构

每条记录包含以下字段：

• doc_id
• text
• title

使用示例

python from datasets import load_dataset

docs = load_dataset(irds/dpr-w100, docs) for record in docs: record # {doc_id: ..., text: ..., title: ...}

引用信息

@misc{Karpukhin2020Dpr, title={Dense Passage Retrieval for Open-Domain Question Answering}, author={Vladimir Karpukhin and Barlas Oğuz and Sewon Min and Patrick Lewis and Ledell Wu and Sergey Edunov and Danqi Chen and Wen-tau Yih}, year={2020}, eprint={2004.04906}, archivePrefix={arXiv}, primaryClass={cs.CL} }