sentence-transformers/msmarco-distilbert-margin-mse-cls-dot-v2

该数据集源自MS MARCO语料库，这是一个基于Bing搜索引擎真实用户查询的大规模信息检索数据集。它包含了使用distilbert-margin-mse-cls-dot-v2模型生成的困难负样本。该数据集旨在训练Sentence Transformer模型，并包括多个子集，如唯一三元组、所有三元组、困难三元组和50个三元组，每个子集都有字符串和ID两种格式。这些子集用于训练句子相似性和特征提取任务的模型。

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 多语言性: 单语
• 大小: 10M<n<100M
• 任务类别: 特征提取, 句子相似度
• 美观名称: MS MARCO with hard negatives from distilbert-margin-mse-cls-dot-v2
• 标签: sentence-transformers

数据集配置

1. triplet 配置

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 502939 个例子, 365345135 字节
     • 下载大小: 238995947 字节
     • 数据集大小: 365345135 字节

2. triplet-50 配置

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative_1 至 negative_50: 字符串
   • 分割:
     • train: 502939 个例子, 9095916438 字节
     • 下载大小: 5897779753 字节
     • 数据集大小: 9095916438 字节

3. triplet-50-ids 配置

   • 特征:
     • query: 整数
     • positive: 整数
     • negative_1 至 negative_50: 整数
   • 分割:
     • train: 502939 个例子, 209222624 字节
     • 下载大小: 178191125 字节
     • 数据集大小: 209222624 字节

4. triplet-all 配置

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 26637550 个例子, 19903877546 字节
     • 下载大小: 4237141473 字节
     • 数据集大小: 19903877546 字节

5. triplet-all-ids 配置

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 26637550 个例子, 639301200 字节
     • 下载大小: 190913548 字节
     • 数据集大小: 639301200 字节

6. triplet-hard 配置

   • 特征:
     • query: 字符串
     • positive: 字符串
     • negative: 字符串
   • 分割:
     • train: 12544556 个例子, 9153491079 字节
     • 下载大小: 2278502407 字节
     • 数据集大小: 9153491079 字节

7. triplet-hard-ids 配置

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 12544556 个例子, 301069344 字节
     • 下载大小: 96352511 字节
     • 数据集大小: 301069344 字节

8. triplet-ids 配置

   • 特征:
     • query: 整数
     • positive: 整数
     • negative: 整数
   • 分割:
     • train: 502939 个例子, 12070536 字节
     • 下载大小: 10131592 字节
     • 数据集大小: 12070536 字节

数据集文件

• triplet 配置: 训练数据路径为 triplet/train-*
• triplet-50 配置: 训练数据路径为 triplet-50/train-*
• triplet-50-ids 配置: 训练数据路径为 triplet-50-ids/train-*
• triplet-all 配置: 训练数据路径为 triplet-all/train-*
• triplet-all-ids 配置: 训练数据路径为 triplet-all-ids/train-*
• triplet-hard 配置: 训练数据路径为 triplet-hard/train-*
• triplet-hard-ids 配置: 训练数据路径为 triplet-hard-ids/train-*
• triplet-ids 配置: 训练数据路径为 triplet-ids/train-*