Helsinki-NLP/bianet

Bianet是一个新的开源平行语料库，包含从Bianet杂志收集的新闻文章，该杂志是一家在线报纸，发布土耳其新闻，通常附带其英语和库尔德语翻译。该语料库包含土耳其语、库尔德语和英语的平行新闻文章。Bianet收集了3,214篇土耳其语文章及其句子对齐的库尔德语或英语翻译。数据集的语言包括英语（en）、库尔德语（ku）和土耳其语（tr）。

原始信息汇总

数据集概述

数据集名称: Bianet

语言:

• 英语 (en)
• 库尔德语 (ku)
• 土耳其语 (tr)

许可证: CC-BY-SA-4.0

多语言性: 翻译

大小分类:

• 1K<n<10K
• 10K<n<100K

源数据集: 原始

任务类别: 翻译

数据集结构

特征:

• id (string)
• translation (translation): 包含以下语言对
  • en-ku: 英语和库尔德语
  • en-tr: 英语和土耳其语
  • ku-tr: 库尔德语和土耳其语

数据分割:

• en-ku:
  • 训练集: 6402个样本，数据大小1800794字节，下载大小1019265字节
• en-tr:
  • 训练集: 34770个样本，数据大小10230995字节，下载大小5932117字节
• ku-tr:
  • 训练集: 7325个样本，数据大小2086538字节，下载大小1206133字节

数据集创建

许可证信息: 该语料库根据CC-BY-SA-4.0开放许可证分发。

引用信息:

@InProceedings{ATAMAN18.6, author = {Duygu Ataman}, title = {Bianet: A Parallel News Corpus in Turkish, Kurdish and English}, booktitle = {Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)}, year = {2018}, month = {may}, date = {7-12}, location = {Miyazaki, Japan}, editor = {Jinhua Du and Mihael Arcan and Qun Liu and Hitoshi Isahara}, publisher = {European Language Resources Association (ELRA)}, address = {Paris, France}, isbn = {979-10-95546-15-3}, language = {english} }