irds/neumarco_zh_train

`neumarco/zh/train`数据集由ir-datasets包提供，包含查询（topics）、相关性评估（qrels）和文档对（docpairs）三个部分。查询数量为808,731，相关性评估数量为532,761，文档对数量为269,919,004。文档部分需要使用`irds/neumarco_zh`数据集。该数据集用于`neumarco_zh_train_judged`。

The `neumarco/zh/train` dataset, provided by the ir-datasets package, includes three core components: 808,731 queries (topics), 532,761 relevance judgments (qrels), and 269,919,004 document pairs (docpairs). The document corpus of this dataset relies on the `irds/neumarco_zh` dataset, and this dataset is utilized for `neumarco_zh_train_judged`.

原始信息汇总

数据集概述

数据集名称

neumarco/zh/train

数据集来源

• 提供者：ir-datasets 包
• 原始数据集：irds/neumarco_zh

数据集内容

• queries：查询（即主题），数量为808,731
• qrels：相关性评估，数量为532,761
• docpairs：文档对，数量为269,919,004
• docs：文档数据，使用irds/neumarco_zh数据集

数据集用途

被用于：neumarco_zh_train_judged

数据集使用示例

python from datasets import load_dataset

queries = load_dataset(irds/neumarco_zh_train, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/neumarco_zh_train, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

docpairs = load_dataset(irds/neumarco_zh_train, docpairs) for record in docpairs: record # {query_id: ..., doc_id_a: ..., doc_id_b: ...}

搜集汇总

背景与挑战

背景概述

该数据集是用于文本检索任务的中文训练数据集，包含大量查询、相关性评估和文档对，具体有808,731条查询、532,761条相关性评估和269,919,004个文档对。其特点在于数据规模庞大，适用于训练和评估检索模型，且文档部分需引用另一个数据集'irds/neumarco_zh'。