sentence-transformers/msmarco-bm25

MS MARCO数据集的一个变体，包含了通过BM25算法生成的困难负样本。该数据集基于真实的用户搜索查询，使用Bing搜索引擎生成，并包含了查询、正样本和负样本的对应关系。数据集主要用于训练句子转换模型（Sentence Transformer models），并提供了多种配置，包括三元组（triplet）、50个负样本的三元组（triplet-50）、所有三元组（triplet-all）、困难三元组（triplet-hard）等。每种配置都有字符串和ID两种形式。

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 多语言性: 单语
• 大小: 10M<n<100M
• 任务类别: 特征提取, 句子相似度
• 美观名称: MS MARCO with hard negatives from bm25
• 标签: sentence-transformers

数据集配置

1. triplet 配置

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 502931个示例, 368888522字节
   • 下载大小: 231262240字节
   • 数据集大小: 368888522字节

2. triplet-50 配置

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative_1 至 negative_50: 字符串
   • 分割:
     • train: 502907个示例, 8997811416字节
   • 下载大小: 5508159555字节
   • 数据集大小: 8997811416字节

3. triplet-50-ids 配置

   • 特征:
     • query: 整数
     • positive: 整数
     • negative_1 至 negative_50: 整数
   • 分割:
     • train: 502907个示例, 209209312字节
   • 下载大小: 177770563字节
   • 数据集大小: 209209312字节

4. triplet-all 配置

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 26636407个示例, 19800668061字节
   • 下载大小: 4238247508字节
   • 数据集大小: 19800668061字节

5. triplet-all-ids 配置

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 26636407个示例, 639273768字节
   • 下载大小: 192940657字节
   • 数据集大小: 639273768字节

6. triplet-hard 配置

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 19139199个示例, 14020046995字节
   • 下载大小: 3183621062字节
   • 数据集大小: 14020046995字节

7. triplet-hard-ids 配置

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 19139199个示例, 459340776字节
   • 下载大小: 143128324字节
   • 数据集大小: 459340776字节

8. triplet-ids 配置

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 502931个示例, 12070344字节
   • 下载大小: 10128682字节
   • 数据集大小: 12070344字节

数据集子集

• triplet 子集:

  • 列: "query", "positive", "negative"
  • 列类型: 字符串, 字符串, 字符串
  • 去重: 否

• triplet-ids 子集:

  • 列: "query", "positive", "negative"
  • 列类型: 整数, 整数, 整数
  • 去重: 否

• triplet-all 子集:

  • 列: "query", "positive", "negative"
  • 列类型: 字符串, 字符串, 字符串
  • 去重: 否

• triplet-all-ids 子集:

  • 列: "query", "positive", "negative"
  • 列类型: 整数, 整数, 整数
  • 去重: 否

• triplet-hard 子集:

  • 列: "query", "positive", "negative"
  • 列类型: 字符串, 字符串, 字符串
  • 去重: 否

• triplet-hard-ids 子集:

  • 列: "query", "positive", "negative"
  • 列类型: 整数, 整数, 整数
  • 去重: 否

• triplet-50 子集:

  • 列: "query", "positive", negative_1 至 negative_50
  • 列类型: 字符串, 字符串, 字符串
  • 去重: 否

• triplet-50-ids 子集:

  • 列: "query", "positive", negative_1 至 negative_50
  • 列类型: 整数, 整数, 整数
  • 去重: 否