sentence-transformers/simple-wiki

该数据集是英语维基百科条目及其简化版本的配对集合。它可以直接用于Sentence Transformers来训练嵌入模型。数据集包含一个名为pair的子集，该子集有两列：text和simplified，均为字符串类型。数据集的收集策略是从SimpleWiki数据集中读取，且未进行去重处理。

原始信息汇总

数据集概述

基本信息

• 语言: 英语 (en)
• 多语言性: 单语
• 大小: 10万<n<100万
• 任务类别: 特征提取, 句子相似度
• 美观名称: Simple Wiki
• 标签: sentence-transformers

数据集配置

• 配置名称: pair
• 特征:
  • text: 数据类型为字符串 (string)
  • simplified: 数据类型为字符串 (string)

数据集分割

• 训练集:
  • 字节数: 28560372
  • 示例数: 102225
  • 下载大小: 18402665
  • 数据集大小: 28560372

数据集子集

• pair 子集:

  • 列: "text", "simplified"

  • 列类型: 字符串 (str), 字符串 (str)

  • 示例: python { text: "Charles Michael `` Chuck Palahniuk ( ; born February 21 , 1962 ) is an American transgressional fiction novelist and freelance journalist .", "simplified": Chuck Palahniuk ( born February 21 , 1962 ) is an American satire author ., }

  • 收集策略: 从 embedding-training-data 读取 SimpleWiki 数据集

  • 去重: 否