sentence-transformers/parallel-sentences-global-voices

该数据集包含多种语言的平行句子（即英语句子与另一种语言的相同句子），主要来源于OPUS网站。数据集分为多个子集，包括`all`子集和多个`en-...`子集，每个子集包含英语和非英语的句子对。数据集可用于训练多语言句子嵌入模型。

原始信息汇总

数据集概述

基本信息

• 名称: Global Voices
• 语言: 支持多种语言，包括英语、阿拉伯语、保加利亚语等共31种语言。
• 大小: 数据集大小在1M到10M之间。
• 任务类别: 主要用于特征提取和句子相似性任务。
• 标签: 包含sentence-transformers。

数据集结构

• 配置: 多个配置，包括all和en-<language>形式。
• 特征:
  • english: 字符串类型
  • non_english: 字符串类型
• 分割: 主要为train分割。

数据集详细配置

• config_name: all
  • 训练数据:
    • 字节数: 307081941
    • 示例数: 1099099
    • 下载大小: 190002622
    • 数据集大小: 307081941
• config_name: en-<language>
  • 训练数据:
    • 字节数: 根据不同语言配置，范围从16885313到43385316不等
    • 示例数: 根据不同语言配置，范围从51974到126775不等
    • 下载大小: 根据不同语言配置，范围从9827030到24743893不等
    • 数据集大小: 根据不同语言配置，范围从16885313到43385316不等

数据集使用

• 用途: 用于训练多语言句子嵌入模型。
• 相关资源: 参考sbert.net - Multilingual Models获取更多信息。

数据集子集

• all子集:
  • 列: "english", "non_english"
  • 列类型: str, str
  • 示例: 包含英