sentence-transformers/msmarco-distilbert-margin-mse-cls-dot-v1

MS MARCO with hard negatives from distilbert-margin-mse-cls-dot-v1 数据集是基于 MS MARCO 语料库构建的，该语料库是一个大规模的信息检索数据集，源自使用 Bing 搜索引擎的真实用户搜索查询。该数据集包含多个子集，如 triplet、triplet-50、triplet-all、triplet-hard 及其对应的基于 ID 的版本。每个子集设计用于不同的训练场景，特别是用于训练 Sentence Transformer 模型。数据集包含 query、positive 和 negative 段落，某些子集每个查询包含多个负例。

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 多语言性: 单语
• 大小: 10M<n<100M
• 任务类别: 特征提取, 句子相似度
• 美观名称: MS MARCO with hard negatives from distilbert-margin-mse-cls-dot-v1
• 标签: sentence-transformers

数据集配置

1. triplet

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 502939 个例子, 364180714 字节
     • 下载大小: 238782066 字节
     • 数据集大小: 364180714 字节

2. triplet-50

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative_1 至 negative_50: 字符串
   • 分割:
     • train: 502939 个例子, 9045317089 字节
     • 下载大小: 5941739389 字节
     • 数据集大小: 9045317089 字节

3. triplet-50-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative_1 至 negative_50: 整数
   • 分割:
     • train: 502939 个例子, 209222624 字节
     • 下载大小: 178196110 字节
     • 数据集大小: 209222624 字节

4. triplet-all

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 26637550 个例子, 19851626407 字节
     • 下载大小: 4373186313 字节
     • 数据集大小: 19851626407 字节

5. triplet-all-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 26637550 个例子, 639301200 字节
     • 下载大小: 191146338 字节
     • 数据集大小: 639301200 字节

6. triplet-hard

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 12776292 个例子, 9323645497 字节
     • 下载大小: 2422022827 字节
     • 数据集大小: 9323645497 字节

7. triplet-hard-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 12776292 个例子, 306631008 字节
     • 下载大小: 98290331 字节
     • 数据集大小: 306631008 字节

8. triplet-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 502939 个例子, 12070536 字节
     • 下载大小: 10132173 字节
     • 数据集大小: 12070536 字节