Cohere/miracl-ko-queries-22-12

MIRACL（韩语）数据集是一个多语言信息检索数据集，专注于18种不同语言的搜索任务，这些语言涵盖了全球超过30亿的母语使用者。数据集的语料库来自维基百科的转储，每个文章被分割成多个段落，每个段落被视为一个检索单元。数据集使用了cohere.ai的`multilingual-22-12`编码器进行嵌入，提供了查询嵌入和语料库嵌入。用户可以通过HuggingFace的`datasets`库加载这些嵌入，并使用点积进行搜索。README还提供了如何使用这些嵌入进行搜索的示例代码，并比较了cohere.ai的嵌入模型与Elasticsearch在多个语言上的性能表现。

The MIRACL (Korean) dataset is a multilingual information retrieval dataset focused on search tasks across 18 distinct languages, which cover more than 3 billion native speakers globally. The corpus of the dataset is sourced from Wikipedia dumps, where each article is split into multiple paragraphs, with each paragraph serving as a retrieval unit. The dataset utilizes cohere.ai's `multilingual-22-12` encoder to generate embeddings, providing both query embeddings and corpus embeddings. Users can load these embeddings via HuggingFace's `datasets` library and perform searches using dot product. The README also includes sample code illustrating how to use these embeddings for search, and compares the performance of cohere.ai's embedding models with Elasticsearch across multiple languages.

原始信息汇总

数据集概述

基本信息

• 名称: MIRACL (Multilingual Information Retrieval Across a Continuum of Languages)
• 语言: 多语言，专注于18种语言
• 许可证: Apache-2.0
• 任务类别: 文本检索
• 任务ID: 文档检索

数据集内容

• 来源: 每个语言的语料库来自维基百科的转储，仅保留纯文本，去除图片、表格等。
• 处理: 使用WikiExtractor将每篇文章分割成多个基于自然话语单元的段落，每个段落构成一个检索单元。

嵌入技术

• 模型: 使用cohere.ai的multilingual-22-12嵌入模型计算title+" "+text的嵌入，该模型支持100种语言的语义搜索。

数据集加载

• 加载方式: 可通过load_dataset函数直接加载或流式加载。
• 数据集位置: 查询嵌入位于Cohere/miracl-ko-queries-22-12，语料库嵌入位于Cohere/miracl-ko-corpus-22-12。

搜索方法

• 搜索技术: 使用点积计算查询嵌入与文档嵌入之间的相似度。
• 示例代码: 提供了完整的搜索示例，包括加载文档和查询、计算点积分数及结果展示。

性能评估

• 评估指标: nDCG@10和hit@3
• 比较模型: cohere multilingual-22-12与Elasticsearch 8.6.0
• 结果: cohere multilingual-22-12在多数语言上的表现优于Elasticsearch，特别是在不支持Elasticsearch的语言上。

结论

MIRACL是一个多语言检索数据集，通过先进的嵌入技术支持跨语言的文本检索任务，性能优越，适用于多种语言环境。