bclavie/mmarco-japanese-hard-negatives

该数据集包含MMarco数据集中日语部分的所有查询，MMarco是MSMarco数据集的多语言版本。对于每个查询，都有匹配的硬负样本，包括由多语言e5基础模型检索的25个样本，以及由Anserini库中的BM25基础实现从日语中检索的最多10个样本。数据集的特征包括查询、正样本、负样本、BM25负样本和原始负样本。训练集包含391,061个样本，总大小为24,494,938,913字节，下载大小为11,664,534,369字节。

原始信息汇总

数据集概述

语言

• 日语 (ja)

任务类别

• 文本检索 (text-retrieval)

数据集信息

特征

• query: 字符串类型
• positives: 字符串序列
• negatives: 字符串序列
• bm25_negatives: 字符串序列
• original_negatives: 字符串序列

分割

• train:
  • 字节数: 24494938913
  • 样本数: 391061

大小

• 下载大小: 11664534369
• 数据集大小: 24494938913

配置

• default:
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

详细说明

• 每个查询包含匹配的硬负例：
  • 25个由多语言e5基础模型检索得到。
  • 最多10个由Anserini库中的BM25基本实现从日语中检索得到。