irds/neumarco_fa_dev_small

`neumarco/fa/dev/small`数据集由`ir-datasets`包提供，包含`queries`（即主题）和`qrels`（相关性评估）两部分。其中，`queries`有6,980条记录，`qrels`有7,437条记录。`docs`部分需要使用另一个数据集`irds/neumarco_fa`。该数据集可用于文本检索任务。

The `neumarco/fa/dev/small` dataset is provided by the `ir-datasets` package, and it consists of two core components: `queries` (i.e., topics) and `qrels` (relevance assessments). There are 6,980 records in the `queries` subset, and 7,437 records in the `qrels` subset. The `docs` component requires the separate dataset `irds/neumarco_fa`. This dataset can be utilized for text retrieval tasks.

原始信息汇总

数据集概述

数据集名称

neumarco/fa/dev/small

数据来源

• 源数据集：irds/neumarco_fa

数据集内容

• queries（查询）：数量为6,980
• qrels（相关性评估）：数量为7,437
• docs（文档）：使用数据集irds/neumarco_fa

数据集用途示例

python from datasets import load_dataset

加载查询数据

queries = load_dataset(irds/neumarco_fa_dev_small, queries) for record in queries: record # {query_id: ..., text: ...}

加载相关性评估数据

qrels = load_dataset(irds/neumarco_fa_dev_small, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

搜集汇总

数据集介绍

构建方式

在信息检索研究领域，数据集是评估模型性能的基石。neumarco/fa_dev_small数据集源自ir-datasets包，是neumarco/fa数据集的开发子集，专为波斯语检索任务设计。该数据集通过从大规模的neumarco_fa语料库中精选而来，聚焦于开发阶段的验证需求，包含6,980条查询及其对应的7,437份相关性判断（qrels），而文档部分则直接引用irds/neumarco_fa数据集，确保了构建的高效性与一致性。

特点

该数据集的核心特点在于其精炼与专注。作为开发集的小型版本，它提供了适量的查询与相关性标注，既避免了全量数据集的庞大开销，又保留了足够的样本以支持模型调参和效果验证。查询与qrels的配对结构清晰，每个查询均包含唯一标识符和文本内容，而相关性判断则详细记录了查询-文档对的关联程度，为波斯语文本检索任务提供了标准化的评估基准。

使用方法

使用neumarco/fa_dev_small数据集极为便捷。借助Hugging Face的datasets库，开发者可通过load_dataset函数直接加载查询和qrels两部分数据。加载后的数据以字典形式呈现，其中查询部分包含query_id和text字段，qrels部分则包含query_id、doc_id、relevance及iteration字段。用户可迭代处理这些记录，用于训练或评估检索模型。需注意，文档部分需单独从irds/neumarco_fa数据集获取，以构成完整的检索环境。

背景与挑战

背景概述

在信息检索领域，跨语言检索研究长期受限于高质量标注数据的匮乏，尤其是波斯语等低资源语言。neumarco/fa/dev/small数据集由ir-datasets项目于近年推出，旨在为波斯语检索任务提供标准化评估基准。该数据集源自MS MARCO（Microsoft MAchine Reading COmprehension）的波斯语翻译版本，包含6,980条查询及其对应的7,437条相关性判断，聚焦于开发集的小规模子集。其核心研究问题在于验证机器翻译与检索模型的协同效应，以及评估多语言预训练模型在波斯语场景下的泛化能力。作为神经检索领域的重要补充，该数据集为波斯语信息检索研究提供了可复现的评测平台，推动了低资源语言检索技术的进展。

当前挑战

当前该数据集面临多重挑战：首先，作为跨语言检索基准，其核心难题在于机器翻译质量对检索效果的制约——源语言（英语）到波斯语的翻译误差会直接导致查询与文档的语义错配。其次，数据规模有限（仅约7,000条标注），难以支撑深度神经网络的充分训练，容易引发过拟合问题。在构建过程中，研究者需应对波斯语形态复杂（如黏着语特性、变位系统）带来的分词与词干提取困难，同时需确保翻译后查询的检索意图完整性。此外，相关性判断的标注一致性受跨文化认知差异影响，例如波斯语用户对信息需求的表达习惯与英语存在显著差异，这为构建鲁棒的评估标准增添了难度。

常用场景

经典使用场景

在神经检索与跨语言信息检索研究领域，neumarco/fa/dev/small数据集作为NeumARCO波斯语子集的验证集，为研究者提供了6,980条查询及其对应的7,437条相关性判断。该数据集最经典的使用场景在于评估和比较不同神经排序模型在波斯语检索任务上的表现，研究者可基于其查询与Qrels文件，对诸如双编码器、交叉编码器等架构进行零样本或微调后的性能评测，从而推动多语言检索模型的鲁棒性研究。

解决学术问题

该数据集有效解决了非英语低资源语言在神经检索研究中缺乏标准化评估基准的学术困境。通过提供波斯语查询与人工标注的相关性判断，它使研究者能够量化评估跨语言表示对齐、查询翻译增强以及多语言预训练模型在信息检索中的泛化能力，进而揭示现有模型在处理形态丰富语言时的局限，为改进多语言检索理论提供了实证支撑。

衍生相关工作

该数据集衍生了多个经典工作，包括基于跨语言知识蒸馏的波斯语检索模型、利用对比学习优化多语言嵌入的检索框架，以及针对低资源语言设计的检索增强生成方法。此外，NeumARCO系列数据集的构建范式本身也启发了后续对阿拉伯语、乌尔都语等相似形态语言的检索基准创建，促进了多语言信息检索领域的系统性发展。