sentence-transformers/msmarco-distilbert-margin-mse-mean-dot-v1

MS MARCO with hard negatives from distilbert-margin-mse-mean-dot-v1 数据集是一个基于 Bing 搜索引擎真实用户搜索查询的大规模信息检索语料库。该数据集包含用于训练 Sentence Transformer 模型的各种三元组（查询、正例、负例）子集。这些子集在每查询的负例数量以及数据存储为字符串或 ID 方面有所不同。数据集是单语（英语）的，属于 10M 到 100M 的规模类别，主要用于特征提取和句子相似性任务。

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 多语言性: 单语
• 大小: 10M<n<100M
• 任务类别: 特征提取, 句子相似度
• 美观名称: MS MARCO with hard negatives from distilbert-margin-mse-mean-dot-v1
• 标签: sentence-transformers

数据集配置

1. triplet 配置

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 502939个例子, 362807907字节
     • 下载大小: 238014109字节
     • 数据集大小: 362807907字节

2. triplet-50 配置

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative_1 至 negative_50: 字符串
   • 分割:
     • train: 502939个例子, 9023389446字节
     • 下载大小: 5934641076字节
     • 数据集大小: 9023389446字节

3. triplet-50-ids 配置

   • 特征:
     • query: 整数
     • positive: 整数
     • negative_1 至 negative_50: 整数
   • 分割:
     • train: 502939个例子, 209222624字节
     • 下载大小: 178197745字节
     • 数据集大小: 209222624字节

4. triplet-all 配置

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 26637550个例子, 19827208009字节
     • 下载大小: 4369760081字节
     • 数据集大小: 19827208009字节

5. triplet-all-ids 配置

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 26637550个例子, 639301200字节
     • 下载大小: 191165506字节
     • 数据集大小: 639301200字节

6. triplet-hard 配置

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 12624894个例子, 9191448842字节
     • 下载大小: 2395912404字节
     • 数据集大小: 9191448842字节

7. triplet-hard-ids 配置

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 12624894个例子, 302997456字节
     • 下载大小: 97248137字节
     • 数据集大小: 302997456字节

8. triplet-ids 配置

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 502939个例子, 12070536字节
     • 下载大小: 10132134字节
     • 数据集大小: 12070536字节

数据集文件

• 配置: 每个配置对应的数据文件路径和分割类型。

以上信息总结了MS MARCO数据集的基本结构、配置和相关数据大小。