irds/clueweb09_zh
收藏Hugging Face2023-01-05 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/irds/clueweb09_zh
下载链接
链接失效反馈官方服务：
资源简介：
clueweb09/zh数据集，由ir-datasets包提供，包含177,489,357个文档，适用于文本检索任务。每个文档记录包括文档ID、URL、日期等多个字段。
提供机构：
irds原始信息汇总
数据集概述
数据集名称
clueweb09/zh
数据来源
由 ir-datasets 提供。
数据内容
docs(文档，即语料库)；数量为 177,489,357。
数据使用示例
python from datasets import load_dataset
docs = load_dataset(irds/clueweb09_zh, docs) for record in docs: record # {doc_id: ..., url: ..., date: ..., http_headers: ..., body: ..., body_content_type: ...}
