tartuNLP/liv4ever

Liv4ever v1数据集是一个四语平行语料库，主要包含利沃尼亚语与拉脱维亚语、爱沙尼亚语和英语的平行文本。数据来源于多个数字文本资源，包括字典、书籍、诗歌、社交媒体等。数据集中的文本经过标准化处理，并在需要时进行了手动句子对齐。The Liv4ever v1 dataset is a four-way parallel corpus that primarily contains parallel texts across Livonian, Latvian, Estonian and English. The dataset is compiled from multiple digital text resources, including dictionaries, books, poems, social media and other similar sources. All texts in the dataset have been standardized, and manual sentence alignment was performed where necessary.

原始信息汇总

数据集概述

基本信息

• 名称: Liv4ever v1
• 语言: 英语 (en), Livonian (liv)
• 许可证: CC-BY-NC-SA-4.0
• 多语言性: 翻译
• 任务类别: 文本到文本生成, 翻译
• 数据来源: 原始数据

数据集内容

• 数据组成: 平行语料库，包括Livonian与Latvian、Estonian、English的平行文本。
• 数据收集年份: 2021年
• 数据来源及分布:
  • 字典: Livonian-Latvian-Estonian字典中的例句
    • liv-lv: 10,388句
    • liv-et: 10,378句
  • Stalte: Kōrli Stalte的字母书，翻译成Estonian和Latvian
    • liv-lv: 842句
    • liv-et: 685句
  • 诗歌: "Ma võtan su õnge, tursk / Ma akūb sīnda vizzõ, tūrska"诗集，含Estonian翻译
    • liv-et: 770句
  • Vääri: Eduard Vääri关于Livonian语言和文化的书
    • liv-et: 592句
  • Satversme: Latvian宪法的Livonian、Estonian和English翻译
    • liv-en: 380句
    • liv-lv: 414句
    • liv-et: 413句
  • Facebook: Livonian Institute和Livonian Days的社交媒体帖子及翻译
    • liv-en: 123句
    • liv-lv: 124句
    • liv-et: 7句
  • JEFUL: Journal of Estonian and Finno-Ugric Linguistics中关于Livonian研究的特别文章摘要，翻译成Estonian和English
    • liv-en: 36句
    • liv-et: 49句
  • Trilium: 包含Livonian诗歌、前言和后记的书，翻译成Estonian和Latvian
    • liv-lv: 51句
    • liv-et: 53句
  • Songs: 从lyricstranslate.com爬取的材料
    • liv-en: 54句
    • liv-lv: 54句
    • liv-fr: 31句

搜集汇总

背景与挑战

背景概述

该数据集是一个利沃尼亚语多语言平行语料库（liv4ever v1），包含利沃尼亚语与拉脱维亚语、爱沙尼亚语、英语的翻译数据，旨在支持机器翻译研究。利沃尼亚语是一种极度濒危的乌拉尔语系语言，仅有约20名流利使用者，数据集通过整合多种来源（如词典、书籍、社交媒体）的文本，为语言保护和自然语言处理任务提供了关键资源。