irds/c4_en-noclean-tr

`c4/en-noclean-tr`数据集由`ir-datasets`包提供，包含1,063,805,381个文档（即语料库）。该数据集用于`c4_en-noclean-tr_trec-misinfo-2021`任务。用户可以通过`datasets`库加载并使用该数据集。

`c4/en-noclean-tr`数据集由`ir-datasets`工具包提供，包含1,063,805,381个文档（即语料库）。该数据集应用于`c4_en-noclean-tr_trec-misinfo-2021`任务，用户可通过`datasets`库加载并使用该数据集。

原始信息汇总

数据集概述

数据集名称

c4/en-noclean-tr

数据提供方

由 ir-datasets 包提供。

数据集描述

该数据集主要用于文本检索任务。

数据内容

• 文档数量: 1,063,805,381
• 文档内容: 包含 doc_id, text, url, timestamp 等字段。

使用示例

python from datasets import load_dataset

docs = load_dataset(irds/c4_en-noclean-tr, docs) for record in docs: record # {doc_id: ..., text: ..., url: ..., timestamp: ...}