sentence-transformers/msmarco-distilbert-margin-mse-sym-mnrl-mean-v2

该数据集是MS MARCO数据集的一个变体，包含了从distilbert-margin-mse-sym-mnrl-mean-v2模型中提取的困难负样本。数据集主要用于信息检索任务，特别是用于训练句子转换模型（Sentence Transformer models）。数据集包含多个子集，每个子集都有不同的配置，如triplet、triplet-ids、triplet-50等，这些子集分别以字符串或ID的形式存储查询、正样本和负样本。数据集的设计目的是通过提供高质量的负样本来提高模型的训练效果。

原始信息汇总

数据集概述

基本信息

• 名称: MS MARCO with hard negatives from distilbert-margin-mse-sym-mnrl-mean-v2
• 语言: 英语
• 多语言性: 单语
• 大小: 10M<n<100M
• 任务类别: 特征提取, 句子相似度

数据集配置

1. triplet

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 502939 个示例, 364146151 字节
   • 下载大小: 238663039 字节
   • 数据集大小: 364146151 字节

2. triplet-ids

   • 特征:
     • query: int64
     • positive: int64
     • negative: int64
   • 分割:
     • train: 502939 个示例, 12070536 字节
   • 下载大小: 10131429 字节
   • 数据集大小: 12070536 字节

3. triplet-50

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative_1 至 negative_50: 字符串
   • 分割:
     • train: 502939 个示例, 9085906342 字节
   • 下载大小: 5924296105 字节
   • 数据集大小: 9085906342 字节

4. triplet-50-ids

   • 特征:
     • query: int64
     • positive: int64
     • negative_1 至 negative_50: int64
   • 分割:
     • train: 502939 个示例, 209222624 字节
   • 下载大小: 178193289 字节
   • 数据集大小: 209222624 字节

5. triplet-all

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 26637550 个示例, 19893075269 字节
   • 下载大小: 4282913084 字节
   • 数据集大小: 19893075269 字节

6. triplet-all-ids

   • 特征:
     • query: int64
     • positive: int64
     • negative: int64
   • 分割:
     • train: 26637550 个示例, 639301200 字节
   • 下载大小: 190880511 字节
   • 数据集大小: 639301200 字节

7. triplet-hard

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 12101920 个示例, 8819026930 字节
   • 下载大小: 2248881684 字节
   • 数据集大小: 8819026930 字节

8. triplet-hard-ids

   • 特征:
     • query: int64
     • positive: int64
     • negative: int64
   • 分割:
     • train: 12101920 个示例, 290446080 字节
   • 下载大小: 93119864 字节
   • 数据集大小: 290446080 字节