irds/trec-mandarin_trec6

`trec-mandarin/trec6`数据集由ir-datasets包提供，主要用于文本检索任务。该数据集包含26个查询（即主题）和9,236个相关性评估。文档部分需要从`irds/trec-mandarin`数据集中获取。

The `trec-mandarin/trec6` dataset, provided by the ir-datasets package, is primarily used for text retrieval tasks. This dataset contains 26 queries (i.e., topics) and 9,236 relevance assessments. The document corpus needs to be obtained from the `irds/trec-mandarin` dataset.

原始信息汇总

数据集卡片 trec-mandarin/trec6

数据集概述

trec-mandarin/trec6 数据集由 ir-datasets 包提供。

数据内容

• 查询（queries）：包含 26 个查询主题。
• 相关性评估（qrels）：包含 9,236 条相关性评估记录。
• 文档（docs）：使用 irds/trec-mandarin 数据集。

使用方法

以下是加载和使用该数据集的示例代码：

python from datasets import load_dataset

queries = load_dataset(irds/trec-mandarin_trec6, queries) for record in queries: record # {query_id: ..., title_en: ..., title_zh: ..., description_en: ..., description_zh: ..., narrative_en: ..., narrative_zh: ...}

qrels = load_dataset(irds/trec-mandarin_trec6, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@inproceedings{Wilkinson1998Chinese, title={Chinese Document Retrieval at TREC-6}, author={Ross Wilkinson}, booktitle={TREC}, year={1997} } @misc{Rogers2000Mandarin, title={TREC Mandarin LDC2000T52}, author={Rogers, Willie}, year={2000}, url={https://catalog.ldc.upenn.edu/LDC2000T52}, publisher={Linguistic Data Consortium} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，跨语言文档检索一直是研究的热点与难点。TREC-6中文文档检索任务所催生的irds/trec-mandarin_trec6数据集，正是为了推动该领域的发展而构建。该数据集基于ir-datasets包提供，其构建过程严谨且规范：查询集（即主题）共计26个，涵盖英文与中文双语标题、描述及叙事说明；相关性判断（qrels）则包含9,236条记录，每条记录均标注了查询与文档之间的相关性等级。文档部分则需通过irds/trec-mandarin数据集获取，从而形成完整的检索评测体系。

特点

该数据集的核心特点在于其双语与跨语言的独特设计。查询集不仅提供了英文原版内容，还配以精准的中文翻译，使得研究者能够探索中英文查询在中文文档检索中的性能差异。此外，26个查询主题虽数量有限，但每个主题均附有详细的叙事说明，为相关性判断提供了丰富的上下文信息。9,236条qrels记录则确保了评测的统计可靠性，使得该数据集成为检验中文信息检索算法鲁棒性的理想基准。

使用方法

使用该数据集时，研究者可借助HuggingFace的datasets库便捷加载。通过load_dataset函数，指定数据集名称为irds/trec-mandarin_trec6，并选择queries子集即可获取包含双语查询字段的记录；选择qrels子集则可获得相关性判断数据。文档数据需另行加载irds/trec-mandarin数据集。调用load_dataset后，数据将以🤗 Dataset格式自动下载并存储，便于后续的检索实验与模型评估。

背景与挑战

背景概述

在信息检索领域，跨语言文本检索一直是极具挑战性的研究方向，尤其是对于中文这种形态丰富、分词复杂的语言。TREC-6中文文档检索任务（TREC Mandarin Track）于1997年由Ross Wilkinson主导发起，旨在推动非英语语种检索技术的发展。该数据集由Linguistic Data Consortium于2000年正式发布，包含了26个查询主题及其对应的相关性评估，共计9,236条人工标注。作为早期大规模中文检索评测基准，它系统性地评估了不同分词策略、索引方法及检索模型在中文场景下的表现，为后续中文信息检索研究奠定了重要的实验基础，并催生了多项针对中文检索特性的创新算法。

当前挑战

该数据集面临的核心挑战包括：1) 语言处理难题，中文缺乏天然词边界，不同分词方案会导致索引粒度的差异，进而影响检索精度；2) 查询规模有限，仅26个查询主题难以全面覆盖中文检索的多样性与复杂性，模型泛化能力评估受限；3) 相关性判断的主观性，由于中文表达的多义性与语境依赖性，不同标注者对相关性的理解存在偏差；4) 构建过程中，原始语料包含繁体中文与简体中文的混合，需进行统一编码与标准化处理，同时跨语言查询（英文标题与中文描述）的对齐也增加了数据清洗的难度。

常用场景

经典使用场景

作为跨语言信息检索领域的奠基性资源，TREC-6中文语料库（irds/trec-mandarin_trec6）被广泛用于评估和优化面向中文文本的检索模型。该数据集包含26个查询主题及其对应的中文与英文版本描述，以及超过九千条相关性判断，为研究者提供了标准的实验框架。经典使用场景包括基于概率模型的检索算法验证、查询翻译与文档翻译策略的比较，以及跨语言语义匹配技术的性能基准测试。研究者常利用该数据集检验不同语言资源（如双语词典或机器翻译系统）对检索效果的影响，从而揭示中文信息检索中特有的语言歧义与分词挑战。

衍生相关工作

基于TREC-6中文语料库，学术界涌现了一系列里程碑式的工作。Wilkinson等人提出的基于词典扩展的跨语言检索框架奠定了该领域的早期范式，而后续研究者如Gao等人利用该数据集验证了统计机器翻译在检索中的优势。在深度学习时代，该数据集被用于评估神经排序模型（如DRMM、KNRM）的跨语言迁移能力，并催生了如CLIR-MatchPyramid等专门面向双语语义匹配的架构。此外，该数据集还启发了多任务学习框架的构建，将查询翻译与文档排序联合优化，相关论文被广泛引用，成为跨语言信息检索课程中的经典案例。

数据集最近研究

最新研究方向

在跨语言信息检索领域，随着神经检索模型与多语言预训练技术的飞速发展，TREC Mandarin（TREC-6）这一经典中文评测数据集正被重新挖掘其学术价值。当前前沿研究聚焦于利用深度语义匹配模型（如基于BERT的跨语言编码器）优化中英文混合查询的检索性能，并探索低资源场景下的迁移学习范式。该数据集提供的26个查询主题与9,236条相关性判断，为验证多语言检索系统在稀疏标注环境下的鲁棒性提供了基准。值得注意的是，该数据与LDC2000T52语料库的关联，使其成为评估大语言模型在古中文与当代中文混合文本中检索能力的稀缺资源，对推动中文信息检索技术向语义化、跨模态方向演进具有里程碑意义。