Samoed/WikipediaRetrievalMultilingual

该数据集包含多个语言的语料库、查询和相关度评分，涵盖了保加利亚语（bg）、孟加拉语（bn）、捷克语（cs）、丹麦语（da）、德语（de）、英语（en）、波斯语（fa）、芬兰语（fi）、印地语（hi）、意大利语（it）、荷兰语（nl）、挪威语（no）、葡萄牙语（pt）、罗马尼亚语（ro）、塞尔维亚语（sr）和瑞典语（sv）。每个语言的配置包含语料库、查询和相关度评分，语料库包含文本和标题，查询包含查询ID和查询文本，相关度评分包含查询ID、语料库ID和评分。数据集主要用于信息检索任务。

This dataset contains corpora, queries, and relevance scores for multiple languages, including Bulgarian (bg), Bengali (bn), Czech (cs), Danish (da), German (de), English (en), Persian (fa), Finnish (fi), Hindi (hi), Italian (it), Dutch (nl), Norwegian (no), Portuguese (pt), Romanian (ro), Serbian (sr), and Swedish (sv). Each language configuration includes a corpus, queries, and relevance scores. The corpus contains text and titles, the queries contain query IDs and query text, and the relevance scores contain query IDs, corpus IDs, and scores. The dataset is primarily used for information retrieval tasks.

搜集汇总

数据集介绍

构建方式

在信息检索领域，跨语言检索能力的发展离不开高质量的多语种评测数据集的支持。Samoed/WikipediaRetrievalMultilingual数据集正是为此而生，其构建过程严谨而系统。该数据集基于Wikipedia多语种语料，针对保加利亚语、孟加拉语、捷克语、英语等16种语言，分别构建了语料库（corpus）、查询集（queries）和相关性判断集（qrels）三大核心组件。每个语料库包含13500个文档，每个查询集包含1500条查询，相关性判断集则提供了查询与文档之间的二元相关性评分。所有数据均被划分为单一的测试集，确保了评测的标准化与可复现性。

特点

该数据集最显著的特点在于其全面的多语种覆盖与标准化的结构设计。覆盖的16种语言横跨印欧、乌拉尔、汉藏等多个语系，为跨语言检索研究提供了广阔的语言多样性。每个语言配置均遵循统一的格式：语料库包含文档ID、标题及文本内容；查询集包含查询ID与文本；相关性判断集则记录查询与文档的匹配关系及评分。这种一致性设计使得研究者能够轻松地在不同语言间进行对比实验。此外，所有数据均以测试集形式提供，无需额外划分，极大降低了使用门槛。

使用方法

研究者可通过HuggingFace Datasets库便捷地加载该数据集。由于数据集包含多个语言子集，加载时需指定具体的config_name参数，例如使用'en-corpus'加载英语语料库，或使用'bg-queries'加载保加利亚语查询集。每个子集均包含统一的test分割，可直接用于评估。典型应用场景包括：利用语料库与查询集构建检索系统，通过相关性判断集计算NDCG、MAP等标准指标；或将其作为跨语言迁移学习的基准数据。该数据集特别适合用于验证多语言检索模型在低资源语言上的泛化能力。

背景与挑战

背景概述

在信息检索与自然语言处理领域，跨语言检索能力是衡量系统理解多语言语义关联的重要标尺。Samoed/WikipediaRetrievalMultilingual数据集由研究社区构建，旨在为多语言维基百科检索任务提供标准化的评测基准。该数据集涵盖保加利亚语、孟加拉语、捷克语、丹麦语、德语、英语、波斯语、芬兰语、印地语、意大利语、荷兰语、挪威语、葡萄牙语、罗马尼亚语、塞尔维亚语、瑞典语及中文等17种语言，每个语言子集包含13500篇维基百科文档作为语料库，并配备1500条查询及其对应的相关性标注。其核心研究问题聚焦于如何在不同语言环境下实现高效的文本检索与排序，尤其关注低资源语言的检索性能。该数据集的发布为多语言信息检索系统的评估提供了统一框架，推动了跨语言语义匹配与多语言嵌入模型的发展，对构建真正普适的全球信息访问系统具有重要意义。

当前挑战

该数据集面临的核心领域挑战在于跨语言检索的语义鸿沟问题：不同语言间词汇与句法结构的差异使得查询与文档的语义对齐极为困难，尤其对于孟加拉语、印地语等低资源语言，缺乏足够的预训练数据导致模型泛化能力受限。构建过程中遇到的挑战包括：从维基百科海量文本中为每种语言筛选并组织13500篇代表性文档，确保语料覆盖的均衡性与领域多样性；人工或自动生成1500条高质量查询并标注其与文档的相关性，需要跨语言专家团队的协作以保障标注一致性；此外，对不同语言子集进行格式统一与数据清洗，处理编码差异、特殊字符及非标准拼写，也构成了技术上的繁重负担。这些挑战共同制约着多语言检索系统的鲁棒性与实际部署效果。

常用场景

经典使用场景

Samoed/WikipediaRetrievalMultilingual 数据集专为跨语言与多语言信息检索任务而设计，其经典使用场景聚焦于评估和训练检索模型在多种语言环境下的表现。该数据集以维基百科文章为语料库，覆盖保加利亚语、孟加拉语、捷克语、丹麦语、德语、英语、波斯语、芬兰语、印地语、意大利语、荷兰语、挪威语、葡萄牙语、罗马尼亚语、塞尔维亚语和瑞典语等16种语言，每语种均配备13,500篇文档的语料库、1,500条查询及其对应的相关性判定（qrels）。研究者常借助此基准，衡量稠密检索或稀疏检索模型在多语言语义匹配中的鲁棒性，尤其适用于零样本跨语言迁移学习的场景，为多语言信息检索系统的性能评估提供了标准化测试平台。

解决学术问题

该数据集有效解决了多语言信息检索领域长期存在的基准缺失问题，为学术研究提供了统一且可复现的评估框架。以往，检索模型多聚焦于英语等资源丰富语言，导致低资源语言的检索性能难以被客观衡量。Samoed/WikipediaRetrievalMultilingual 通过构建涵盖广泛语种、规模一致的检索测试集，使研究者能够系统性地探究跨语言语义对齐、多语言嵌入表示以及语言间知识迁移等核心学术问题。其意义在于推动了多语言检索模型从单语评估向多语泛化能力的转变，为理解不同语言在语义空间中的分布差异提供了数据基础，深刻影响了跨语言自然语言处理领域的研究范式。

衍生相关工作

该数据集衍生了一系列经典研究工作，尤其在多语言稠密检索与跨语言表示学习领域产生了深远影响。例如，基于其构建的基准，研究者提出了多语言对比学习框架（如mContriever）以提升跨语言语义匹配能力；同时，该数据集被广泛用于评估多语言BERT模型（如mBERT、XLM-R）在检索任务中的迁移效果。此外，相关工作还包括探索多语言查询改写策略、设计语言自适应负采样方法，以及开发面向低资源语言的检索增强生成（RAG）系统。这些衍生工作不仅验证了该数据集作为多语言检索评估标准的有效性，更推动了跨语言信息检索技术从实验室走向实际应用，成为该领域不可或缺的基石资源。