Helsinki-NLP/kde4

--- annotations_creators: - found language_creators: - found language: - af - ar - as - ast - be - bg - bn - br - ca - crh - cs - csb - cy - da - de - el - en - eo - es - et - eu - fa - fi - fr - fy - ga - gl - gu - ha - he - hi - hne - hr - hsb - hu - hy - id - is - it - ja - ka - kk - km - kn - ko - ku - lb - lt - lv - mai - mk - ml - mr - ms - mt - nb - nds - ne - nl - nn - nso - oc - or - pa - pl - ps - pt - ro - ru - rw - se - si - sk - sl - sr - sv - ta - te - tg - th - tr - uk - uz - vi - wa - xh - zh language_bcp47: - bn-IN - en-GB - pt-BR - zh-CN - zh-HK - zh-TW license: - unknown multilinguality: - multilingual size_categories: - 100K<n<1M source_datasets: - original task_categories: - translation task_ids: [] paperswithcode_id: null pretty_name: KDE4 dataset_info: - config_name: fi-nl features: - name: id dtype: string - name: translation dtype: translation: languages: - fi - nl splits: - name: train num_bytes: 8845933 num_examples: 101593 download_size: 2471355 dataset_size: 8845933 - config_name: it-ro features: - name: id dtype: string - name: translation dtype: translation: languages: - it - ro splits: - name: train num_bytes: 8827049 num_examples: 109003 download_size: 2389051 dataset_size: 8827049 - config_name: nl-sv features: - name: id dtype: string - name: translation dtype: translation: languages: - nl - sv splits: - name: train num_bytes: 22294586 num_examples: 188454 download_size: 6203460 dataset_size: 22294586 - config_name: en-it features: - name: id dtype: string - name: translation dtype: translation: languages: - en - it splits: - name: train num_bytes: 27132585 num_examples: 220566 download_size: 7622662 dataset_size: 27132585 - config_name: en-fr features: - name: id dtype: string - name: translation dtype: translation: languages: - en - fr splits: - name: train num_bytes: 25650409 num_examples: 210173 download_size: 7049364 dataset_size: 25650409 --- # Dataset Card for KDE4 ## Table of Contents - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards) - [Languages](#languages) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Dataset Creation](#dataset-creation) - [Curation Rationale](#curation-rationale) - [Source Data](#source-data) - [Annotations](#annotations) - [Personal and Sensitive Information](#personal-and-sensitive-information) - [Considerations for Using the Data](#considerations-for-using-the-data) - [Social Impact of Dataset](#social-impact-of-dataset) - [Discussion of Biases](#discussion-of-biases) - [Other Known Limitations](#other-known-limitations) - [Additional Information](#additional-information) - [Dataset Curators](#dataset-curators) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Homepage:** http://opus.nlpl.eu/KDE4.php - **Repository:** None - **Paper:** http://www.lrec-conf.org/proceedings/lrec2012/pdf/463_Paper.pdf - **Leaderboard:** [More Information Needed] - **Point of Contact:** [More Information Needed] ### Dataset Summary To load a language pair which isn't part of the config, all you need to do is specify the language code as pairs. You can find the valid pairs in Homepage section of Dataset Description: http://opus.nlpl.eu/KDE4.php E.g. `dataset = load_dataset("kde4", lang1="en", lang2="nl")` ### Supported Tasks and Leaderboards [More Information Needed] ### Languages [More Information Needed] ## Dataset Structure ### Data Instances [More Information Needed] ### Data Fields [More Information Needed] ### Data Splits [More Information Needed] ## Dataset Creation ### Curation Rationale [More Information Needed] ### Source Data [More Information Needed] #### Initial Data Collection and Normalization [More Information Needed] #### Who are the source language producers? [More Information Needed] ### Annotations [More Information Needed] #### Annotation process [More Information Needed] #### Who are the annotators? [More Information Needed] ### Personal and Sensitive Information [More Information Needed] ## Considerations for Using the Data ### Social Impact of Dataset [More Information Needed] ### Discussion of Biases [More Information Needed] ### Other Known Limitations [More Information Needed] ## Additional Information ### Dataset Curators [More Information Needed] ### Licensing Information [More Information Needed] ### Citation Information [More Information Needed] ### Contributions Thanks to [@abhishekkrthakur](https://github.com/abhishekkrthakur) for adding this dataset.annotations_creators: - 标注创建者 language_creators: - 语言创建者 language: - 南非语（af） - 阿拉伯语（ar） - 阿萨姆语（as） - 阿斯图里亚斯语（ast） - 白俄罗斯语（be） - 保加利亚语（bg） - 孟加拉语（bn） - 布列塔尼语（br） - 加泰罗尼亚语（ca） - 克里米亚鞑靼语（crh） - 捷克语（cs） - 卡舒比语（csb） - 威尔士语（cy） - 丹麦语（da） - 德语（de） - 希腊语（el） - 英语（en） - 世界语（eo） - 西班牙语（es） - 爱沙尼亚语（et） - 巴斯克语（eu） - 波斯语（fa） - 芬兰语（fi） - 法语（fr） - 弗里西语（fy） - 爱尔兰语（ga） - 加利西亚语（gl） - 古吉拉特语（gu） - 豪萨语（ha） - 希伯来语（he） - 印地语（hi） - 切蒂斯格尔语（hne） - 克罗地亚语（hr） - 上索布语（hsb） - 匈牙利语（hu） - 亚美尼亚语（hy） - 印尼语（id） - 冰岛语（is） - 意大利语（it） - 日语（ja） - 格鲁吉亚语（ka） - 哈萨克语（kk） - 高棉语（km） - 卡纳达语（kn） - 韩语（ko） - 库尔德语（ku） - 卢森堡语（lb） - 立陶宛语（lt） - 拉脱维亚语（lv） - 迈蒂利语（mai） - 马其顿语（mk） - 马拉雅拉姆语（ml） - 马拉地语（mr） - 马来语（ms） - 马耳他语（mt） - 挪威博克马尔语（nb） - 低地德语（nds） - 尼泊尔语（ne） - 荷兰语（nl） - 挪威尼诺斯克语（nn） - 北索托语（nso） - 奥克语（oc） - 奥里亚语（or） - 旁遮普语（pa） - 波兰语（pl） - 普什图语（ps） - 葡萄牙语（pt） - 罗马尼亚语（ro） - 俄语（ru） - 卢旺达语（rw） - 北萨米语（se） - 僧伽罗语（si） - 斯洛伐克语（sk） - 斯洛文尼亚语（sl） - 塞尔维亚语（sr） - 瑞典语（sv） - 泰米尔语（ta） - 泰卢固语（te） - 塔吉克语（tg） - 泰语（th） - 土耳其语（tr） - 乌克兰语（uk） - 乌兹别克语（uz） - 越南语（vi） - 瓦隆语（wa） - 科萨语（xh） - 中文（zh） language_bcp47: - 孟加拉语（印度）（bn-IN） - 英语（英国）（en-GB） - 葡萄牙语（巴西）（pt-BR） - 简体中文（zh-CN） - 香港繁体中文（zh-HK） - 台湾繁体中文（zh-TW） license: - 未知 multilinguality: - 多语言 size_categories: - 10万<样本数<100万 source_datasets: - 原创数据集 task_categories: - 机器翻译 task_ids: [] paperswithcode_id: null pretty_name: KDE4 dataset_info: - config_name: 芬兰语-荷兰语（fi-nl） features: - name: id dtype: 字符串 - name: translation dtype: translation: languages: - fi - nl splits: - name: train num_bytes: 8845933 num_examples: 101593 download_size: 2471355 dataset_size: 8845933 - config_name: 意大利语-罗马尼亚语（it-ro） features: - name: id dtype: 字符串 - name: translation dtype: translation: languages: - it - ro splits: - name: train num_bytes: 8827049 num_examples: 109003 download_size: 2389051 dataset_size: 8827049 - config_name: 荷兰语-瑞典语（nl-sv） features: - name: id dtype: 字符串 - name: translation dtype: translation: languages: - nl - sv splits: - name: train num_bytes: 22294586 num_examples: 188454 download_size: 6203460 dataset_size: 22294586 - config_name: 英语-意大利语（en-it） features: - name: id dtype: 字符串 - name: translation dtype: translation: languages: - en - it splits: - name: train num_bytes: 27132585 num_examples: 220566 download_size: 7622662 dataset_size: 27132585 - config_name: 英语-法语（en-fr） features: - name: id dtype: 字符串 - name: translation dtype: translation: languages: - en - fr splits: - name: train num_bytes: 25650409 num_examples: 210173 download_size: 7049364 dataset_size: 25650409 # KDE4数据集卡片 ## 目录 - [数据集描述](#dataset-description) - [数据集摘要](#dataset-summary) - [支持任务与排行榜](#supported-tasks-and-leaderboards) - [语言](#languages) - [数据集结构](#dataset-structure) - [数据实例](#data-instances) - [数据字段](#data-fields) - [数据划分](#data-splits) - [数据集创建](#dataset-creation) - [筛选依据](#curation-rationale) - [源数据](#source-data) - [标注](#annotations) - [个人与敏感信息](#personal-and-sensitive-information) - [数据集使用注意事项](#considerations-for-using-the-data) - [数据集的社会影响](#social-impact-of-dataset) - [偏差讨论](#discussion-of-biases) - [其他已知限制](#other-known-limitations) - [附加信息](#additional-information) - [数据集整理者](#dataset-curators) - [许可信息](#licensing-information) - [引用信息](#citation-information) - [贡献](#contributions) ## 数据集描述 - **主页**：http://opus.nlpl.eu/KDE4.php - **仓库**：无 - **论文**：http://www.lrec-conf.org/proceedings/lrec2012/pdf/463_Paper.pdf - **排行榜**：[需补充更多信息] - **联系人**：[需补充更多信息] ### 数据集摘要 若需加载配置中未涵盖的语言对，仅需指定双语言代码即可。有效语言对组合可在数据集描述的主页链接中查询：http://opus.nlpl.eu/KDE4.php。示例代码如下： `dataset = load_dataset("kde4", lang1="en", lang2="nl")` ### 支持任务与排行榜 [需补充更多信息] ### 语言 [需补充更多信息] ## 数据集结构 ### 数据实例 [需补充更多信息] ### 数据字段 [需补充更多信息] ### 数据划分 [需补充更多信息] ## 数据集创建 ### 筛选依据 [需补充更多信息] ### 源数据 [需补充更多信息] #### 初始数据收集与标准化 [需补充更多信息] #### 源语言创作者是谁？ [需补充更多信息] ### 标注 [需补充更多信息] #### 标注流程 [需补充更多信息] #### 标注者是谁？ [需补充更多信息] ### 个人与敏感信息 [需补充更多信息] ## 数据集使用注意事项 ### 数据集的社会影响 [需补充更多信息] ### 偏差讨论 [需补充更多信息] ### 其他已知限制 [需补充更多信息] ## 附加信息 ### 数据集整理者 [需补充更多信息] ### 许可信息 [需补充更多信息] ### 引用信息 [需补充更多信息] ### 贡献 感谢 [@abhishekkrthakur](https://github.com/abhishekkrthakur) 为本数据集添加支持。

原始信息汇总

数据集概述

• 名称: KDE4
• 语言: 多语言，包括但不限于 af, ar, as, ast, be, bg, bn, br, ca, crh, cs, csb, cy, da, de, el, en, eo, es, et, eu, fa, fi, fr, fy, ga, gl, gu, ha, he, hi, hne, hr, hsb, hu, hy, id, is, it, ja, ka, kk, km, kn, ko, ku, lb, lt, lv, mai, mk, ml, mr, ms, mt, nb, nds, ne, nl, nn, nso, oc, or, pa, pl, ps, pt, ro, ru, rw, se, si, sk, sl, sr, sv, ta, te, tg, th, tr, uk, uz, vi, wa, xh, zh
• BCP47语言标签: bn-IN, en-GB, pt-BR, zh-CN, zh-HK, zh-TW
• 许可证: 未知
• 多语言性: 多语言
• 大小类别: 100K<n<1M
• 源数据集: 原始数据
• 任务类别: 翻译

数据集结构

• 配置名称: fi-nl
  • 特征:
    • id: 字符串类型
    • translation: 翻译类型，包含语言 fi, nl
  • 分割:
    • train: 101593个示例，8845933字节，下载大小2471355字节
• 配置名称: it-ro
  • 特征:
    • id: 字符串类型
    • translation: 翻译类型，包含语言 it, ro
  • 分割:
    • train: 109003个示例，8827049字节，下载大小2389051字节
• 配置名称: nl-sv
  • 特征:
    • id: 字符串类型
    • translation: 翻译类型，包含语言 nl, sv
  • 分割:
    • train: 188454个示例，22294586字节，下载大小6203460字节
• 配置名称: en-it
  • 特征:
    • id: 字符串类型
    • translation: 翻译类型，包含语言 en, it
  • 分割:
    • train: 220566个示例，27132585字节，下载大小7622662字节
• 配置名称: en-fr
  • 特征:
    • id: 字符串类型
    • translation: 翻译类型，包含语言 en, fr
  • 分割:
    • train: 210173个示例，25650409字节，下载大小7049364字节

搜集汇总

数据集介绍

构建方式

KDE4数据集源自KDE桌面环境的本地化翻译项目，通过从KDE软件界面中提取平行语料构建而成。该数据集覆盖了包括英语、法语、意大利语、荷兰语、瑞典语等在内的近百种语言对，每条样本包含一个唯一标识符及对应的双语翻译对。数据以语言对为配置单元进行组织，例如en-fr、nl-sv等，每个配置仅包含训练集划分，样本数量从十万至二十余万不等。用户可通过指定源语言和目标语言代码灵活加载任意有效语言对，体现了其模块化的构建思路。

特点

KDE4数据集的核心特点在于其多语言覆盖广度与真实应用场景的契合性。它囊括了从印欧语系到亚非语系的数十种语言，尤其包含阿斯图里亚斯语、下索布语等低资源语言，为小语种机器翻译研究提供了宝贵资源。数据来源于专业软件本地化流程，确保了翻译质量与术语一致性，同时其句子级对齐方式便于直接用于训练序列到序列模型。此外，数据集不包含标注者偏见或敏感信息，保持了原始语料的自然性。

使用方法

使用HuggingFace Datasets库加载KDE4数据集时，用户需指定语言对参数，例如load_dataset('kde4', lang1='en', lang2='nl')即可获取英语-荷兰语平行语料。数据集返回的每个样本包含id和translation字段，其中translation为字典类型，键为语言代码，值为对应文本。由于所有语言对均仅提供训练集，用户需自行划分验证与测试子集。该数据集特别适合用于多语言神经机器翻译模型的预训练或微调，也可作为跨语言迁移学习的基准数据。

背景与挑战

背景概述

在机器翻译领域，平行语料库的稀缺性长期制约着多语言模型的泛化能力，尤其是对于低资源语言对而言，高质量的双语对齐数据更是弥足珍贵。Helsinki-NLP团队依托于KDE社区的开源软件本地化项目，于2012年构建并发布了KDE4数据集，旨在为学术研究提供覆盖广泛语言对的翻译资源。该数据集从KDE桌面环境的翻译文件中提取而成，包含超过80种语言，语料规模在十万至数十万句对之间，其核心研究问题在于如何利用社区贡献的本地化数据来填补机器翻译训练数据的空白。作为OPUS项目的重要组成部分，KDE4数据集为跨语言神经机器翻译、无监督翻译以及多语言模型预训练提供了可靠的基准资源，显著推动了低资源语言翻译技术的发展。

当前挑战

KDE4数据集所面临的挑战首先体现在领域适配性上，其语料源自软件界面和文档，内容高度集中于技术术语和操作指令，与通用文本或特定领域的翻译需求存在显著差异，这限制了模型在多样化应用场景下的迁移能力。其次，数据构建过程中面临语言对齐质量不均的问题，由于社区贡献的翻译水平参差不齐，部分语言对可能存在误译、缺失或不一致现象，且缺乏标准化的审核机制。此外，数据集仅提供单一切分（训练集），未划分验证和测试子集，增加了模型评估的难度。语言覆盖虽广，但各语言对的样本量分布极不均衡，对于像阿萨姆语（as）或沃洛夫语（wa）等极低资源语言，数据稀疏性使得有效训练尤为困难。

常用场景

经典使用场景

在机器翻译研究领域，Helsinki-NLP/kde4数据集因其源自KDE软件项目的本地化翻译语料，天然具备高质量、多语言对等和领域聚焦的特点，成为评估和训练神经机器翻译模型的经典基准。该数据集覆盖近百种语言对，尤其适用于低资源语言对的翻译任务，研究者常利用其丰富的平行语料来验证跨语言迁移学习的有效性，或在双语词典归纳、零样本翻译等前沿课题中作为核心训练素材。其简洁的句子级对齐结构，也使得它在对比不同翻译架构（如Transformer与循环神经网络）的性能时，提供了稳定且具代表性的测试环境。

解决学术问题

该数据集有效解决了多语言机器翻译研究中高质量平行语料稀缺的学术难题，特别是针对欧洲小语种及亚洲、非洲等低资源语言，填补了通用领域双语数据不足的空白。通过提供统一来源的、经过人工审核的翻译对，它支持了跨语言语义对齐、多任务学习以及语料库语言学中翻译等价性的量化分析。其意义在于推动了机器翻译模型从高资源语言向低资源语言的泛化能力提升，为研究语言间的结构相似性、翻译质量评估指标（如BLEU与人工评分的相关性）提供了可靠的数据基础，显著降低了多语言NLP研究的入门门槛。

衍生相关工作

基于kde4数据集，学界衍生出一系列经典工作，其中最著名的是OPUS项目将其作为核心组成部分，构建了大规模的跨语言平行语料库体系，进而催生了MarianNMT、Tatoeba等开源翻译框架的基准测试集。研究者利用该数据集提出了多语言联合训练的共享编码器架构（如mBART的前期探索），并验证了跨语言词嵌入（如MUSE）的对齐效果。此外，在机器翻译的领域自适应研究中，kde4常与新闻、法律等领域的语料结合，作为通用领域与专业领域迁移学习的桥梁，推动了翻译模型在垂直场景下的微调策略发展。