projecte-aina/CA-IT_Parallel_Corpus

CA-IT平行语料库是一个包含9,482,927对加泰罗尼亚语和意大利语平行句子的数据集，旨在支持加泰罗尼亚语在自然语言处理任务中的应用，特别是机器翻译。数据集来源于多个公开的语料库，包括CCMatrix、MultiCCAligned、WikiMatrix等，经过去重和过滤处理，以确保句子对的质量。数据集可用于训练意大利语和加泰罗尼亚语之间的双语机器翻译模型，以及多语言机器翻译模型。

原始信息汇总

数据集卡片 for CA-IT 平行语料库

数据集描述

数据集概述

CA-IT 平行语料库是一个包含 9,482,927 条平行句子的加泰罗尼亚语-意大利语数据集。该数据集旨在支持加泰罗尼亚语在自然语言处理任务中的应用，特别是机器翻译。

支持的任务和排行榜

该数据集可用于训练意大利语和加泰罗尼亚语之间的双语机器翻译模型，以及多语种机器翻译模型。

语言

数据集中的句子包含加泰罗尼亚语（CA）和意大利语（IT）。

数据集结构

数据实例

提供了两个单独的 txt 文件，句子按相同顺序排列：

• ca-it_corpus.ca：包含 9,482,927 条加泰罗尼亚语句子。
• ca-it_corpus.it：包含 9,482,927 条意大利语句子。

数据字段

[N/A]

数据分割

数据集包含一个分割：train。

数据集创建

策划理由

该数据集旨在促进加泰罗尼亚语与其他语言，特别是意大利语之间的机器翻译的发展。

源数据

初始数据收集和规范化

数据集是以下原始数据集的组合：

数据集	句子数
CCMatrix v1	7,757,357
MultiCCAligned v1	1,010,921
WikiMatrix	271,587
GNOME	1,198
KDE4	115,027
OpenSubtitles	225,732
GlobalVoices	5,209

所有语料库均从 Opus 收集。

所有数据集都经过去重和过滤，以删除任何余弦相似度小于 0.75 的句子对。这是使用 LaBSE 计算的句子嵌入完成的。过滤后的数据集随后连接形成最终的 9,482,927 条平行句子语料库。

源语言生产者

Opus

注释

注释过程

数据集不包含任何注释。

注释者

[N/A]

个人和敏感信息

由于该数据集部分源自可能包含爬取数据的现有数据集，并且没有应用特定的匿名化过程，因此数据中可能存在个人和敏感信息。在使用数据训练模型时需要考虑这一点。

使用数据时的考虑

数据集的社会影响

通过提供这一资源，我们旨在促进加泰罗尼亚语在自然语言处理任务中的应用，从而提高加泰罗尼亚语的可访问性和可见性。

偏见的讨论

没有针对该数据集应用特定的偏见缓解策略。数据中可能存在固有偏见。

其他已知限制

该数据集包含一般领域的数据。在更具体的领域（如生物医学、法律等）中应用该数据集的用途有限。

附加信息

数据集策展人

巴塞罗那超级计算中心的语言技术单元 ([e-mail])。

这项工作得到了加泰罗尼亚政府通过 Aina 项目 的推广和资助。

许可信息

本作品根据 Attribution-NonCommercial-ShareAlike 4.0 International 许可进行许可。

引用信息

[N/A]

贡献

[N/A]