irds/clueweb12

`clueweb12`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含733,019,372个文档，每个文档包含文档ID、URL、日期、HTTP头、正文和正文内容类型等信息。该数据集被用于`clueweb12_touche-2020-task-2`和`clueweb12_touche-2021-task-2`两个任务。

原始信息汇总

数据集概述

数据集名称

• clueweb12

数据集来源

• 由 ir-datasets 包提供。

数据集内容

• 包含 docs（文档，即语料库）；总计733,019,372个文档。

数据集用途

• 被用于 clueweb12_touche-2020-task-2 和 clueweb12_touche-2021-task-2。

数据集加载示例

python from datasets import load_dataset

docs = load_dataset(irds/clueweb12, docs) for record in docs: record # {doc_id: ..., url: ..., date: ..., http_headers: ..., body: ..., body_content_type: ...}

搜集汇总

背景与挑战

背景概述

clueweb12数据集是一个大型文本检索语料库，包含约7.33亿份文档，每份文档提供ID、URL、日期、HTTP头部和正文等内容。该数据集主要用于支持文本检索任务，并被其他相关数据集如touche任务所使用，通过ir-datasets包提供结构化访问。