mteb/msmarco

该数据集是一个单语言（英语）的文本检索数据集，来源于MS MARCO。它包含三个配置：default、corpus和queries。default配置包含查询ID、语料库ID和分数等特征，分为train、dev和test三个分割。corpus配置包含ID、标题和文本等特征，只有一个corpus分割。queries配置包含ID和文本等特征，只有一个queries分割。

原始信息汇总

数据集概述

语言和多语言性

• 语言: 英语
• 多语言性: 单语种

任务类别和任务ID

• 任务类别: 文本检索
• 任务ID: 文档检索

源数据集

• 源数据集: MS MARCO

配置名称和标签

• 配置名称: corpus
• 标签: 文本检索

数据集信息

配置名称: default

• 特征:
  • query-id: 字符串
  • corpus-id: 字符串
  • score: 浮点数 (float64)
• 分割:
  • 训练集:
    • 字节数: 15384091
    • 样本数: 532751
  • 开发集:
    • 字节数: 217670
    • 样本数: 7437
  • 测试集:
    • 字节数: 270432
    • 样本数: 9260

配置名称: corpus

• 特征:
  • _id: 字符串
  • title: 字符串
  • text: 字符串
• 分割:
  • 语料库:
    • 字节数: 3149969815
    • 样本数: 8841823

配置名称: queries

• 特征:
  • _id: 字符串
  • text: 字符串
• 分割:
  • 查询集:
    • 字节数: 24100662
    • 样本数: 509962

配置和数据文件

配置名称: default

• 数据文件:
  • 训练集: qrels/train.jsonl
  • 开发集: qrels/dev.jsonl
  • 测试集: qrels/test.jsonl

配置名称: corpus

• 数据文件:
  • 语料库: corpus.jsonl

配置名称: queries

• 数据文件:
  • 查询集: queries.jsonl