sentence-transformers/parallel-sentences-opus-100

OPUS-100数据集是一个多语言平行语料库，包含英语与99种其他语言的句子对。该数据集适用于特征提取和句子相似性等任务。数据集按语言对进行分类，每个配置（如en-af、en-am）包含训练、测试和验证集。数据集大小在10M到100M之间，并标记为适用于sentence-transformers。dataset_info部分提供了每个语言对的字节数、示例数和下载大小的详细信息。

The OPUS-100 dataset is a multilingual parallel corpus containing sentence pairs in English and 99 other languages. It is suitable for tasks such as feature extraction and sentence similarity. The dataset is categorized by language pairs, with each configuration (e.g., en-af, en-am) containing train, test, and validation splits. The dataset size ranges from 10M to 100M, and it is tagged for use with sentence-transformers. The dataset_info section provides specifics on the number of bytes, examples, and download sizes for each language pair.

原始信息汇总

数据集概述

基本信息

• 数据集名称: OPUS-100
• 语言支持: 支持多种语言，包括但不限于英语、阿拉伯语、中文、法语、德语、日语等。
• 数据集大小: 10M<n<100M
• 任务类型: 特征提取、句子相似度

数据集结构

• 特征: 每个配置包含两个主要特征：
  • english: 数据类型为字符串
  • non_english: 数据类型为字符串

数据集配置详情

• 配置名称: 多种配置，如en-af, en-am, en-an等。
• 数据分割: 每个配置通常包含三个主要分割：
  • train: 训练集，包含大量数据，用于模型训练。
  • validation: 验证集，用于模型调优。
  • test: 测试集，用于评估模型性能。

数据集示例

• en-af配置:

  • train: 275512个样本，18726247字节
  • validation: 2000个样本，132769字节
  • test: 2000个样本，135908字节
  • 总下载大小: 14847296字节
  • 总数据集大小: 18994924字节

• en-am配置:

  • train: 89027个样本，21950572字节
  • validation: 2000个样本，566069字节
  • test: 2000个样本，588021字节
  • 总下载大小: 12628250字节
  • 总数据集大小: 23104662字节

• en-an配置:

  • train: 6961个样本，438324字节
  • 总下载大小: 232869字节
  • 总数据集大小: 438324字节

• en-ar配置:

  • train: 1000000个样本，152765684字节
  • validation: 2000个样本，2272098字节
  • test: 2000个样本，331640字节
  • 总下载大小: 100467072字节
  • 总数据集大小: 155369422字节

• en-as配置:

  • train: 138479个样本，15634536字节
  • validation: 2000个样本，248131字节
  • test: 2000个样本，261458字节
  • 总下载大小: 8791855字节
  • 总数据集大小: 16144125字节

• en-az配置:

  • train: 262089个样本，56431043字节
  • validation: 2000个样本，407101字节
  • test: 2000个样本，393101字节
  • 总下载大小: 34983618字节
  • 总数据集大小: 57231245字节

• en-be配置:

  • train: 67312个样本，5298444字节
  • validation: 2000个样本，175197字节
  • test: 2000个样本，166850字节
  • 总下载大小: 3806322字节
  • 总数据集大小: 5640491字节

• en-bg配置:

  • train: 1000000个样本，108929547字节
  • validation: 2000个样本，234840字节
  • test: 2000个样本，243743字节
  • 总下载大小: 71555329字节
  • 总数据集大小: 109408130字节

• en-bn配置:

  • train: 1000000个样本，249906046字节
  • validation: 2000个样本，498406字节
  • test: 2000个样本，510093字节
  • 总下载大小: 134056615字节
  • 总数据集大小: 250914545字节

• en-br配置:

  • train: 153447个样本，8538878字节
  • validation: 2000个样本，133764字节
  • test: 2000个样本，127917字节
  • 总下载大小: 6878804字节
  • 总数据集大小: 8800559字节

• en-bs配置:

  • train: 1000000个样本，75082148字节
  • validation: 2000个样本，172473字节
  • test: 2000个样本，168614字节
  • 总下载大小: 59494422字节
  • 总数据集大小: 75423235字节

• en-ca配置:

  • train: 1000000个样本，88404710字节
  • validation: 2000个样本，212629字节
  • test: 2000个样本，205658字节
  • 总下载大小: 68418404字节
  • 总数据集大小: 88822997字节

• en-cs配置:

  • train: 1000000个样本，91896919字节
  • validation: 2000个样本，219076字节
  • test: 2000个样本，205266字节
  • 总下载大小: 73008533字节
  • 总数据集大小: 92321261字节

• en-cy配置:

  • train: 289521个样本，17244748字节
  • validation: 2000个样本，118848字节
  • test: 2000个样本，124281字节
  • 总下载大小: 13392982字节
  • 总数据集大小: 17487877字节

• en-da配置:

  • train: 1000000个样本，126424474字节
  • validation: 2000个样本，300616字节
  • test: 2000个样本，298115字节
  • 总下载大小: 90985271字节
  • 总数据集大小: 127023205字节

• en-de配置:

  • train: 1000000个样本，152245956字节
  • validation: 2000个样本，332342字节
  • test: 2000个样本，330951字节
  • 总下载大小: 116660907字节
  • 总数据集大小: 152909249字节

• en-dz配置:

  • train: 624个样本，81154字节
  • 总下载大小: 37374字节
  • 总数据集大小: 81154字节

• en-el配置:

  • train: 1000000个样本，127963903字节
  • validation: 2000个样本，291226字节
  • test: 2000个样本，302385字节
  • 总下载大小: 84117741字节
  • 总数据集大小: 128557514字节

• en-eo配置:

  • train: 337106个样本，24431681字节
  • validation: 2000个样本，168830字节
  • test: 2000个样本，167378字节
  • 总下载大小: 19538720字节
  • 总数据集大小: 24767889字节

• en-es配置:

  • train: 1000000个样本，136643104字节
  • validation: 2000个样本，326727字节
  • test: 2000个样本，326262字节
  • 总下载大小: 100083926字节
  • 总数据集大小: 137296093字节

• en-et配置:

  • train: 1000000个样本，112298253字节
  • validation: 2000个样本，276954字节
  • test: 2000个样本，272163字节
  • 总下载大小: 83670469字节
  • 总数据集大小: 112847370字节

• en-eu配置:

  • train: 1000000个样本，112329285字节
  • validation: 2000个样本，281495字节
  • test: 2000个样本，280877字节
  • 总下载大小: 84785486字节
  • 总数据集大小: 112891657字节

• en-fa配置:

  • train: 1000000个样本，125400535字节
  • validation: 2000个样本，291121字节
  • test: 2000个样本，296548字节
  • 总下载大小: 82763267字节
  • 总数据集大小: 125988204字节

• en-fi配置:

  • train: 1000000个样本，106024990字节
  • validation: 2000个样本，247219字节
  • test: 2000个样本，245814字节
  • 总下载大小: 79300239字节
  • 总数据集大小: 106518023字节

• en-fr配置:

  • train: 1000000个样本，201440450字节
  • validation: 2000个样本，481476字节
  • test: 2000个样本，469723字节
  • 总下载大小: 142231879字节
  • 总数据集大小: 202391649字节

• en-fy配置:

  • train: 54342个样本，3895640字节
  • validation: 2000个样本，100121字节
  • test: 2000个样本，101238字节
  • 总下载大小: 2983202字节
  • 总数据集大小: 4096999字节

• en-ga配置:

  • train: 289524个样本，42132510字节
  • validation: 2000个样本，503209字节
  • test: 2000个样本，503309字节
  • 总下载大小: 27931667字节
  • 总数据集大小: 43139028字节

• en-gd配置:

  • train: 16316个样本，1254779字节
  • validation: 1605个样本，203877字节
  • test: 1606个样本，218354字节
  • 总下载大小: 1124185字节
  • 总数据集大小: 1677010字节

• en-gl配置:

  • train: 515344个样本，43327028字节
  • validation: 2000个样本，193598字节
  • test: 2000个样本，190691字节
  • 总下载大小: 34073727字节
  • 总数据集大小: 43711317字节

• en-gu配置:

  • train: 318306个样本，33641719字节
  • validation: 2000个样本，205542字节
  • test: 2000个样本，199725字节
  • 总下载大小: 19229418字节
  • 总数据集大小: 34046986字节

• en-ha配置:

  • train: 97983个样本，20391884字节
  • validation: 2000个样本，411518字节
  • test: 2000个样本，407344字节
  • 总下载大小: 12684246字节
  • 总数据集大小: 21210746字节

• en-he配置:

  • train: 1000000个样本，91159631字节
  • validation: 2000个样本，209438字节
  • test: 2000个样本，208467字节
  • 总下载大小: 61124777字节
  • 总数据集大小: 91577536字节

• en-hi配置:

  • train: 534319个样本，124923545字节
  • validation: 2000个样本，474079字节
  • test: 2000个样本，496570字节
  • 总下载大小: 65715205字节
  • 总数据集大小: 125894194字节

• en-hr配置:

  • train: 1000000个样本，75309516字节