irds/clueweb09_ar

`clueweb09/ar`数据集由`ir-datasets`包提供，包含29,192,662个文档。这些文档包括文档ID、URL、日期、HTTP头、正文和正文内容类型等信息。用户可以使用`datasets`库中的`load_dataset`函数加载该数据集，该函数将下载数据集或提供访问指南，并将数据转换为🤗 Dataset格式。

原始信息汇总

数据集概述

数据集名称

clueweb09/ar

数据来源

由 ir-datasets 包提供。

数据内容

• 数据类型: 文档集合
• 文档数量: 29,192,662

数据结构

每个文档记录包含以下字段：

• doc_id
• url
• date
• http_headers
• body
• body_content_type

使用示例

python from datasets import load_dataset

docs = load_dataset(irds/clueweb09_ar, docs) for record in docs: record # {doc_id: ..., url: ..., date: ..., http_headers: ..., body: ..., body_content_type: ...}