Helsinki-NLP/news_commentary

News-Commentary数据集是一个多语言数据集，主要用于翻译任务。该数据集包含多种语言对，如阿拉伯语到捷克语、阿拉伯语到德语、阿拉伯语到英语等。每个语言对都有其特定的配置，包括特征、分割和大小。该数据集被归类为多语言，并且属于10K到100K示例的规模类别。注释和语言创建者标记为found，数据集的来源是原始的。许可证未知。

The News-Commentary dataset is a multilingual dataset primarily designed for machine translation tasks. It includes various language pairs such as Arabic to Czech, Arabic to German, Arabic to English, and more. Each language pair has its specific configuration, covering features, data splits and dataset scale. This dataset is categorized as multilingual and falls into the scale category of 10K to 100K examples. Annotations and language creator tags are marked as "found", the dataset source is original, and the license is unknown.

原始信息汇总

数据集概述

基本信息

• 名称: News-Commentary
• 语言: 多语言，包括阿拉伯语(ar)、捷克语(cs)、德语(de)、英语(en)、西班牙语(es)、法语(fr)、意大利语(it)、日语(ja)、荷兰语(nl)、葡萄牙语(pt)、俄语(ru)、中文(zh)
• 许可证: 未知
• 多语言性: 多语言
• 大小类别: 10K<n<100K
• 源数据集: 原始
• 任务类别: 翻译

数据集结构

• 特征:
  • id: 字符串类型
  • translation: 字符串类型，包含多种语言对

数据集拆分

• 拆分: 训练集(train)
• 示例:
  • ar-cs: 训练集包含52128个例子，数据大小为51546388字节
  • ar-de: 训练集包含68916个例子，数据大小为69681335字节
  • ar-en: 训练集包含83187个例子，数据大小为80655165字节
  • ar-es: 训练集包含78074个例子，数据大小为79255889字节
  • ar-fr: 训练集包含69157个例子，数据大小为71034977字节
  • ar-it: 训练集包含17227个例子，数据大小为17413426字节
  • ar-ja: 训练集包含569个例子，数据大小为661980字节
  • ar-nl: 训练集包含9047个例子，数据大小为9054122字节
  • ar-pt: 训练集包含11433个例子，数据大小为11340050字节
  • ar-ru: 训练集包含84455个例子，数据大小为105804195字节
  • ar-zh: 训练集包含66021个例子，数据大小为65483120字节
  • cs-de: 训练集包含172706个例子，数据大小为57470583字节
  • cs-en: 训练集包含177278个例子，数据大小为54487658字节
  • cs-es: 训练集包含170489个例子，数据大小为56794609字节
  • cs-fr: 训练集包含148578个例子，数据大小为50364657字节
  • cs-it: 训练集包含30547个例子，数据大小为10441797字节
  • cs-ja: 训练集包含622个例子，数据大小为487890字节
  • cs-nl: 训练集包含17358个例子，数据大小为5860952字节
  • cs-pt: 训练集包含18356个例子，数据大小为6183701字节
  • cs-ru: 训练集包含161133个例子，数据大小为71185491字节
  • cs-zh: 训练集包含45424个例子，数据大小为29971132字节
  • de-en: 训练集包含223153个例子，数据大小为73085175字节
  • de-es: 训练集包含209839个例子，数据大小为74708488字节
  • de-fr: 训练集包含185442个例子，数据大小为67083671字节
  • de-it: 训练集包含38961个例子，数据大小为13993406字节
  • de-ja: 训练集包含582个例子，数据大小为465563字节
  • de-nl: 训练集包含21439个例子，数据大小为7645529字节
  • de-pt: 训练集包含21884个例子，数据大小为7699047字节
  • de-ru: 训练集包含175905个例子，数据大小为81811798字节
  • de-zh: 训练集包含59020个例子，数据大小为39044632字节
  • en-es: 训练集包含238872个例子，数据大小为78600501字节
  • en-fr: 训练集包含209479个例子，数据大小为70339762字节
  • en-it: 训练集包含40009个例子，数据大小为14213912字节
  • en-ja: 训练集包含637个例子，数据大小为485472字节
  • en-nl: 训练集包含19399个例子，数据大小为7316575字节
  • en-pt: 训练集包含25929个例子，数据大小为9238783字节
  • en-ru: 训练集包含190104个例子，数据大小为83282240字节
  • en-zh: 训练集包含69206个例子，数据大小为44596003字节
  • es-fr: 训练集包含195241个例子，数据大小为71025693字节
  • es-it: 训练集包含41497个例子，数据大小为15139576字节
  • es-ja: 训练集包含602个例子，数据大小为484451字节
  • es-nl: 训练集包含21012个例子，数据大小为7560087字节
  • es-pt: 训练集包含25551个例子，数据大小为9195649字节
  • es-ru: 训练集包含180217个例子，数据大小为84345622字节
  • es-zh: 训练集包含65424个例子，数据大小为43939929字节
  • fr-it: 训练集包含38485个例子，数据大小为14216031字节
  • fr-ja: 训练集包含519个例子，数据大小为418176字节
  • fr-nl: 训练集包含20898个例子，数据大小为7603467字节
  • fr-pt: 训练集包含25642个例子，数据大小为9261133字节
  • fr-ru: 训练集包含160740个例子，数据大小为75967049字节
  • fr-zh: 训练集包含59060个例子，数据大小为40143999字节
  • it-nl: 训练集包含15428个例子，数据大小为5380888字节
  • it-pt: 训练集包含11407个例子，数据大小为3988546字节
  • it-ru: 训练集包含27267个例子，数据大小为12915037字节
  • it-zh: 训练集包含14652个例子，数据大小为9676732字节
  • ja-ru: 训练集包含586个例子，数据大小为596154字节
  • ja-zh: 训练集包含570个例子，数据大小为462673字节
  • nl-pt: 训练集包含10598个例子，数据大小为3612315字节
  • nl-ru: 训练集包含19112个例子，数据大小为8933781字节
  • nl-zh: 训练集包含8433个例子，数据大小为5509058字节
  • pt-ru: 训练集包含18458个例子，数据大小为8645451字节
  • pt-zh: 训练集包含10873个例子，数据大小为7152750字节
  • ru-zh: 训练集包含47687个例子，数据大小为43112764字节

数据文件配置

• 配置: 每个语言对都有对应的配置，如ar-cs、ar-de等，每个配置下包含训练集数据文件，路径格式为<语言对>/train-*