sentence-transformers/msmarco-msmarco-MiniLM-L-6-v3

MS MARCO是一个基于真实用户搜索查询的大规模信息检索语料库，使用Bing搜索引擎生成。该数据集包含多个子集，每个子集针对不同的任务和模型进行了优化，主要用于训练Sentence Transformer模型，用于句子相似性任务。数据集中的每个查询都与一个正例段落和多个负例段落配对，负例段落是通过不同的模型挖掘出来的。数据集提供了多种配置，包括字符串格式和ID格式，以适应不同的使用场景。

原始信息汇总

数据集概述

基本信息

• 名称: MS MARCO with hard negatives from msmarco-MiniLM-L-6-v3
• 语言: 英语
• 多语言性: 单语
• 大小: 10M<n<100M
• 任务类别: 特征提取, 句子相似度
• 标签: sentence-transformers

数据集配置与特征

1. 配置名称: triplet

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 502939个例子, 367339390字节
   • 下载大小: 239755833字节
   • 数据集大小: 367339390字节

2. 配置名称: triplet-50

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative_1 至 negative_50: 字符串
   • 分割:
     • train: 44862个例子, 857797879字节
   • 下载大小: 531372927字节
   • 数据集大小: 857797879字节

3. 配置名称: triplet-50-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative_1 至 negative_50: 整数
   • 分割:
     • train: 44862个例子, 18662592字节
   • 下载大小: 15887228字节
   • 数据集大小: 18662592字节

4. 配置名称: triplet-all

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 26111683个例子, 19498135226字节
   • 下载大小: 4263456289字节
   • 数据集大小: 19498135226字节

5. 配置名称: triplet-all-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 26111683个例子, 626680392字节
   • 下载大小: 187741567字节
   • 数据集大小: 626680392字节

6. 配置名称: triplet-hard

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 13644974个例子, 9962679341字节
   • 下载大小: 2526498299字节
   • 数据集大小: 9962679341字节

7. 配置名称: triplet-hard-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 13644974个例子, 327479376字节
   • 下载大小: 104455257字节
   • 数据集大小: 327479376字节

8. 配置名称: triplet-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 502939个例子, 12070536字节
   • 下载大小: 10134048字节
   • 数据集大小: 12070536字节

数据集子集

• Unique Triplets: 每个查询-正样本对，挖掘最相似的段落作为负样本。
• All Triplets: 每个查询-正样本对，挖掘50个最相似的段落作为负样本。
• Hard Triplets: 每个查询-正样本对，挖掘50个最相似的段落作为负样本，并使用交叉编码器确保负样本确实与查询不相似。
• 50 "Triplets": 每个查询-正样本对，挖掘50个最相似的段落作为负样本，存储为单一样本，包含50个负列。