five

irds/clueweb09_fr

收藏
Hugging Face2024-10-04 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/irds/clueweb09_fr
下载链接
链接失效反馈
官方服务:
资源简介:
--- pretty_name: '`clueweb09/fr`' viewer: false source_datasets: [] task_categories: - text-retrieval language: - fr --- # Dataset Card for `clueweb09/fr` The `clueweb09/fr` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package. For more information about the dataset, see the [documentation](https://ir-datasets.com/clueweb09#clueweb09/fr). # Data This dataset provides: - `docs` (documents, i.e., the corpus); count=50,883,172 ## Usage ```python from datasets import load_dataset docs = load_dataset('irds/clueweb09_fr', 'docs') for record in docs: record # {'doc_id': ..., 'url': ..., 'date': ..., 'http_headers': ..., 'body': ..., 'body_content_type': ...} ``` Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the data in 🤗 Dataset format.
提供机构:
irds
原始信息汇总

数据集概述

数据集名称

clueweb09/fr

数据来源

ir-datasets 提供。

数据内容

  • 数据类型: 文本检索
  • 文档数量: 50,883,172

数据结构

每个文档包含以下字段:

  • doc_id
  • url
  • date
  • http_headers
  • body
  • body_content_type

使用示例

python from datasets import load_dataset

docs = load_dataset(irds/clueweb09_fr, docs) for record in docs: record # {doc_id: ..., url: ..., date: ..., http_headers: ..., body: ..., body_content_type: ...}

5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作