irds/trec-mandarin

`trec-mandarin`数据集由`ir-datasets`包提供，包含164,789个文档（即语料库）。该数据集被用于`trec-mandarin_trec5`和`trec-mandarin_trec6`两个子数据集。使用示例展示了如何通过`datasets`库加载数据集。引用信息提供了数据集的作者、年份、URL和出版商。

The `trec-mandarin` dataset is provided by the `ir-datasets` package and contains 164,789 documents (i.e., the corpus). This dataset comprises two subsets: `trec-mandarin_trec5` and `trec-mandarin_trec6`. Usage examples illustrate how to load this dataset via the `datasets` library. Citation details include the dataset's authors, publication year, URL, and publisher.

原始信息汇总

数据集概述

数据集名称

trec-mandarin

数据集来源

由 ir-datasets 提供。

数据集内容

• 数据类型: 文本检索
• 文档数量: 164,789

数据集使用

该数据集被用于以下子集：

• trec-mandarin_trec5
• trec-mandarin_trec6

数据集加载示例

python from datasets import load_dataset

docs = load_dataset(irds/trec-mandarin, docs) for record in docs: record # {doc_id: ..., text: ..., marked_up_doc: ...}

引用信息

@misc{Rogers2000Mandarin, title={TREC Mandarin LDC2000T52}, author={Rogers, Willie}, year={2000}, url={https://catalog.ldc.upenn.edu/LDC2000T52}, publisher={Linguistic Data Consortium} }

搜集汇总

背景与挑战

背景概述

该数据集是TREC Mandarin LDC2000T52中文文档集合，包含164,789个文档，主要用于文本检索任务。它源自2000年由Linguistic Data Consortium发布的历史资源，常用于TREC-5和TREC-6等评测任务。