irds/mr-tydi_ko_train

`mr-tydi/ko/train`数据集由ir-datasets包提供，主要用于文本检索任务。该数据集包含1,295个查询（即主题）和1,317个相关性评估（即qrels）。文档部分需要使用`irds/mr-tydi_ko`数据集。用户可以通过HuggingFace的`load_dataset`函数加载查询和相关性评估数据。

The `mr-tydi/ko/train` dataset is provided by the ir-datasets package and is primarily used for text retrieval tasks. This dataset contains 1,295 queries (also known as topics) and 1,317 relevance judgments (also referred to as qrels). The document corpus requires the use of the `irds/mr-tydi_ko` dataset. Users can load the query and relevance judgment data via HuggingFace's `load_dataset` function.

原始信息汇总

数据集概述

数据集名称

mr-tydi/ko/train

数据提供方

由ir-datasets包提供。

数据内容

• queries（查询）: 数量为1,295
• qrels（相关性评估）: 数量为1,317
• docs（文档）: 使用irds/mr-tydi_ko数据集

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/mr-tydi_ko_train, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mr-tydi_ko_train, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言基准测试集的构建对于评估检索系统的跨语言能力至关重要。mr-tydi_ko_train数据集源自Mr. TyDi多语言密集检索基准，专注于韩语子集，其构建基于TyDi QA数据集中的信息寻求型问答对。该数据集精心筛选了1,295条查询（queries）及其对应的1,317份相关性评估（qrels），确保每个查询与文档之间的关联性得到准确标注。文档部分则继承自irds/mr-tydi_ko数据集，通过将查询与预定义的文档集合进行匹配，形成了完整的检索任务框架。

特点

该数据集的特点在于其聚焦于韩语这一类型学多样性语言，为跨语言密集检索研究提供了稀缺的韩语评测资源。查询内容源自真实用户的信息需求，具有高度自然性和多样性，覆盖广泛的主题领域。相关性评估采用多级标注，不仅包含二元相关判断，还通过relevance字段区分不同相关程度，增强了评估的粒度。此外，数据集与ir-datasets生态无缝集成，支持标准化的检索实验流程，便于研究者复现和对比结果。

使用方法

使用mr-tydi_ko_train数据集时，研究者可通过HuggingFace的datasets库便捷加载。具体而言，调用load_dataset('irds/mr-tydi_ko_train', 'queries')即可获取查询集合，每条记录包含query_id和text字段；加载qrels子集则获得相关性评估，包含query_id、doc_id、relevance及iteration字段。文档数据需从irds/mr-tydi_ko独立加载。这种模块化设计支持灵活的实验配置，适用于训练密集检索模型或评估检索系统的韩语性能。

背景与挑战

背景概述

在多语言信息检索领域，由于语言多样性和资源分布不均，构建一个能够有效评估稠密检索模型跨语言能力的基准测试成为亟待解决的核心问题。Mr. TyDi数据集由来自加拿大滑铁卢大学的Xinyu Zhang、Xueguang Ma、Peng Shi与Jimmy Lin于2021年共同创建，旨在填补这一空白。该数据集以TyDi QA为基础，覆盖了包括韩语在内的十一种类型学多样的语言，聚焦于信息寻求型查询的稠密检索任务。其训练子集mr-tydi/ko/train包含1295条查询与1317条相关性判断，为多语言稠密检索模型的训练与评估提供了标准化的资源，显著推动了跨语言信息检索领域的发展。

当前挑战

该数据集所应对的领域挑战在于多语言环境下稠密检索模型的泛化能力，即如何在不同语言间有效迁移并准确捕获语义相关性，尤其是在低资源语言中缺乏大规模标注语料的情况下。在构建过程中，研究者面临的核心困难包括：其一，如何从原始问答数据中提取出适合检索任务的查询-文档对，并确保相关性标注的准确性与一致性；其二，需兼顾语言类型学差异，设计出能够公平评估各语言检索性能的基准，避免因语言结构差异导致评估偏差。这些挑战共同决定了该数据集在推动鲁棒、可迁移的多语言稠密检索模型研究中的关键作用。

常用场景

经典使用场景

在跨语言信息检索的学术疆域中，Mr. TyDi 数据集以其多语言覆盖的独特优势，成为评估密集检索模型在非英语语言中表现的核心基准。具体而言，该数据集的韩语子集（mr-tydi_ko_train）专为训练和验证面向韩语的稠密检索系统而设计，研究者通常利用其包含的1,295条查询及其对应的相关性判断（qrels）来微调双编码器或交叉编码器架构，从而在韩语环境下实现从海量文档中精准定位信息片段的任务。这一场景不仅检验模型对韩语形态句法特征的捕捉能力，更推动了多语言密集检索范式的边界拓展。

实际应用

在实际部署中，该数据集支撑了韩语搜索引擎、企业知识库问答系统以及跨语言新闻聚合平台等产品的核心检索模块开发。基于其训练得到的稠密检索模型，能够高效处理用户用韩语提出的自然语言查询，从包含技术文档、法律条文或学术论文的大规模语料库中精确召回相关段落。例如，在韩语法律咨询平台中，该数据集微调后的模型可快速匹配用户问题与判例法条，大幅降低人工检索成本。此外，其应用还延伸至多语言客服系统，使得非英语用户能够以母语获得流畅的答案检索体验。

衍生相关工作

Mr. TyDi 数据集衍生了一系列具有影响力的研究工作，其中最经典的包括基于其多语言标注构建的跨语言知识蒸馏框架，该框架利用英语教师模型指导韩语学生模型进行检索训练，有效缓解了标注稀疏问题。此外，研究者还提出了面向韩语的负样本挖掘策略与对比学习增强方法，显著提升了检索排序的鲁棒性。在模型架构层面，后续工作探索了将韩语形态分析器与Transformer编码器融合的混合检索架构，进一步优化了对韩语黏着语特征的建模。这些衍生工作共同推动了多语言稠密检索从理论走向工程落地。