sentence-transformers/msmarco-co-condenser-margin-mse-cls-v1

MS MARCO是一个基于真实用户搜索查询构建的大规模信息检索语料库，使用Bing搜索引擎生成。该数据集包含查询、正面段落和负面段落，适用于训练句子转换模型。数据集提供了多个子集，如triplet、triplet-50、triplet-all等，每个子集包含不同的数据格式和内容，适用于不同的训练需求。

原始信息汇总

数据集概述

基本信息

• 名称: MS MARCO with hard negatives from co-condenser-margin-mse-cls-v1
• 语言: 英语
• 多语言性: 单语
• 大小: 10M<n<100M
• 任务类别: 特征提取, 句子相似性
• 标签: sentence-transformers

数据集配置与特征

1. 配置名称: triplet

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 502939个样本, 364634681字节
   • 下载大小: 238693746字节
   • 数据集大小: 364634681字节

2. 配置名称: triplet-50

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative_1 至 negative_50: 字符串
   • 分割:
     • train: 502939个样本, 9091686658字节
   • 下载大小: 5929171490字节
   • 数据集大小: 9091686658字节

3. 配置名称: triplet-50-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative_1 至 negative_50: 整数
   • 分割:
     • train: 502939个样本, 209222624字节
   • 下载大小: 178192340字节
   • 数据集大小: 209222624字节

4. 配置名称: triplet-all

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 26637550个样本, 19898429872字节
   • 下载大小: 4250110478字节
   • 数据集大小: 19898429872字节

5. 配置名称: triplet-all-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 26637550个样本, 639301200字节
   • 下载大小: 190114404字节
   • 数据集大小: 639301200字节

6. 配置名称: triplet-hard

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 11823703个样本, 8616379188字节
   • 下载大小: 2183622227字节
   • 数据集大小: 8616379188字节

7. 配置名称: triplet-hard-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 11823703个样本, 283768872字节
   • 下载大小: 90592992字节
   • 数据集大小: 283768872字节

8. 配置名称: triplet-ids

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 502939个样本, 12070536字节
   • 下载大小: 10131947字节
   • 数据集大小: 12070536字节

数据集子集

• Unique Triplets: 每个query-positive对，挖掘最相似的段落作为negative。
• All Triplets: 每个query-positive对，挖掘50个最相似的段落作为negatives。
• Hard Triplets: 每个query-positive对，挖掘50个最相似的段落作为negatives，并使用CrossEncoder确保negatives确实与query不相似。
• 50 "Triplets": 每个query-positive对，挖掘50个最相似的段落作为negatives，数据存储为单一样本，包含50个negative列。

以上数据集适用于训练Sentence Transformer模型，用于句子相似性任务。