sentence-transformers/parallel-sentences-wikimatrix

该数据集包含了多种语言的平行句子（即英语句子与另一种语言的相同句子），主要来源于OPUS网站，特别是WikiMatrix数据集。数据集分为多个子集，包括一个包含所有语言的全部子集和多个特定语言对的子集。每个子集包含英语和非英语两列，数据类型均为字符串。数据集可以用于训练多语言句子嵌入模型。

原始信息汇总

数据集概述 - WikiMatrix

数据集基本信息

• 名称: WikiMatrix
• 语言: 支持多种语言，包括英语、阿拉伯语、保加利亚语等共39种语言。
• 大小: 数据集大小介于1M到10M之间。
• 任务类别: 主要用于特征提取和句子相似度比较。
• 标签: 与Sentence-Transformers相关。

数据集详细配置

通用配置 (all)

• 特征:
  • english: 数据类型为字符串。
  • non_english: 数据类型为字符串。
• 分割:
  • dev: 大小为7004038字节，包含39000个例子。
  • train: 大小为2696327373字节，包含9688498个例子。
• 下载大小: 1898115766字节。
• 数据集大小: 2703331411字节。

特定语言对配置 (en-<language>)

• 特征:
  • english: 数据类型为字符串。
  • non_english: 数据类型为字符串。
• 分割:
  • dev: 大小从197158字节到283222字节不等，均包含1000个例子。
  • train: 大小从104460172字节到331190729字节不等，例子数量从312399到1209531不等。
• 下载大小: 根据语言对不同，大小从64784764字节到59417802字节不等。
• 数据集大小: 根据语言对不同，大小从104657330字节到331314867字节不等。

数据集使用

• 用途: 用于训练多语言句子嵌入模型。
• 相关资源: 参考sbert.net - Multilingual Models获取更多信息。