irds/clueweb09

`clueweb09`数据集由`ir-datasets`包提供，主要用于文本检索任务。数据集中包含`docs`（文档，即语料库），数量为1,040,859,705条。使用示例展示了如何通过`datasets`库加载数据集，并访问每条记录的详细信息。

The ClueWeb09 dataset, provided by the `ir-datasets` package, is primarily used for text retrieval tasks. It contains `docs` (documents, i.e., the corpus) with a total of 1,040,859,705 entries. A usage example demonstrates how to load the dataset via the `datasets` library and access detailed information of each record.

原始信息汇总

数据集概述

数据集名称

clueweb09

数据集来源

由ir-datasets提供。

数据描述

该数据集包含以下内容：

• docs (文档，即语料库); 数量=1,040,859,705

数据使用示例

python from datasets import load_dataset

docs = load_dataset(irds/clueweb09, docs) for record in docs: record # {doc_id: ..., url: ..., date: ..., http_headers: ..., body: ..., body_content_type: ...}