sentence-transformers/msmarco-mpnet-margin-mse-mean-v1

该数据集是基于MS MARCO信息检索语料库构建的，主要用于训练句子转换模型（Sentence Transformer models）。数据集包含多个子集，每个子集都包含查询（query）、正例（positive）和负例（negative）的文本或ID。负例是通过不同的模型从与查询最相似的段落中挖掘出来的。数据集的主要用途是用于特征提取和句子相似性任务。

原始信息汇总

数据集概述

基本信息

• 名称: MS MARCO with hard negatives from mpnet-margin-mse-mean-v1
• 语言: 英语
• 多语言性: 单语
• 大小: 10M<n<100M
• 任务类别: 特征提取, 句子相似度
• 标签: sentence-transformers

数据集配置

1. triplet

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 502939 示例, 360222445 字节
   • 下载大小: 236331780 字节
   • 数据集大小: 360222445 字节

2. triplet-50

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative_1 至 negative_50: 字符串
   • 分割:
     • train: 502939 示例, 8996190939 字节
   • 下载大小: 5888267266 字节
   • 数据集大小: 8996190939 字节

3. triplet-50-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative_1 至 negative_50: 整数
   • 分割:
     • train: 502939 示例, 209222624 字节
   • 下载大小: 178193057 字节
   • 数据集大小: 209222624 字节

4. triplet-all

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 26637550 示例, 19796634168 字节
   • 下载大小: 4256435999 字节
   • 数据集大小: 19796634168 字节

5. triplet-all-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 26637550 示例, 639301200 字节
   • 下载大小: 190488304 字节
   • 数据集大小: 639301200 字节

6. triplet-hard

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 12010644 示例, 8710582328 字节
   • 下载大小: 2218864531 字节
   • 数据集大小: 8710582328 字节

7. triplet-hard-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 12010644 示例, 288255456 字节
   • 下载大小: 92286644 字节
   • 数据集大小: 288255456 字节

8. triplet-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 502939 示例, 12070536 字节
   • 下载大小: 10131981 字节
   • 数据集大小: 12070536 字节

数据集子集

• Unique Triplets: 每个查询-正例对，挖掘最相似的段落作为负例。
• All Triplets: 每个查询-正例对，挖掘50个最相似的段落作为负例。
• Hard Triplets: 每个查询-正例对，挖掘50个最相似的段落作为负例，并使用交叉编码器确保负例确实与查询不相似。
• 50 "Triplets": 每个查询-正例对，挖掘50个最相似的段落作为负例，存储为单个样本，包含50个负例列。