Helsinki-NLP/emea

EMEA数据集是一个多语言的翻译数据集，涵盖了多种语言对，如bg-el、cs-et、de-mt、es-lt和fr-sk等。数据集的主要任务是翻译，数据实例包括句子对的ID和翻译内容。数据集的规模在1M到10M之间，且数据来源于原始数据。README文件中还提供了数据集的下载大小和数据集大小，以及每个语言对的训练集样本数量。此外，README文件中提到了如何加载不在配置中的语言对，并提供了数据集的引用信息。

原始信息汇总

数据集概述

• 名称: EMEA
• 语言: 多语言（bg, cs, da, de, el, en, es, et, fi, fr, hu, it, lt, lv, mt, nl, pl, pt, ro, sk, sl, sv）
• 许可证: 未知
• 多语言性: 多语言
• 大小: 1M<n<10M
• 源数据集: 原始
• 任务类别: 翻译

数据集结构

数据实例

• 特征:
  • id: 字符串类型，句子对的唯一标识
  • translation: 字典类型，包含两种语言的文本，格式为 {lang1: text_in_lang1, lang2: text_in_lang2}

数据分割

• 分割:
  • train: 训练集
• 示例:
  • bg-el: 1044065个实例，数据大小296160562字节
  • cs-et: 1053164个实例，数据大小180261167字节
  • de-mt: 1000532个实例，数据大小182976918字节
  • fr-sk: 1062753个实例，数据大小193605247字节
  • es-lt: 1051370个实例，数据大小182623676字节

数据集创建

• 引用信息: bibtex @InProceedings{TIEDEMANN12.463, author = {J{"o}rg Tiedemann}, title = {Parallel Data, Tools and Interfaces in OPUS}, booktitle = {Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC12)}, year = {2012}, month = {may}, date = {23-25}, address = {Istanbul, Turkey}, editor = {Nicoletta Calzolari (Conference Chair) and Khalid Choukri and Thierry Declerck and Mehmet Ugur Dogan and Bente Maegaard and Joseph Mariani and Jan Odijk and Stelios Piperidis}, publisher = {European Language Resources Association (ELRA)}, isbn = {978-2-9517408-7-7}, language = {english} }