yhavinga/ccmatrix

CCMatrix v1数据集是一个多语言的平行语料库，包含90种语言和1,197个双语对。该数据集通过基于边缘的双语挖掘技术从网络爬取数据中提取，总文件数为90，总词数为112.14G，总句子片段数为7.37G。数据集主要用于文本生成和翻译任务。每个数据实例包含一个整数ID、一个分数和一个包含两种语言文本的翻译字典。数据集仅提供训练集。

The CCMatrix v1 dataset is a multilingual parallel corpus encompassing 90 languages and 1,197 bilingual language pairs. Extracted from web-crawled data via edge-based bilingual mining techniques, the dataset contains a total of 90 files, with a total word count of 112.14 G and 7.37 G of sentence segments. It is primarily utilized for text generation and machine translation tasks. Each data instance comprises an integer ID, a score, and a translation dictionary holding texts in the two respective languages. Only the training split is made available for this dataset.

原始信息汇总

数据集概述

数据集名称

• 名称: CCMatrixV1
• 别名: CCMatrix

数据集详情

• 语言: 包含90种语言，如af, am, ar等。
• 许可证: 未知
• 多语言性: 多语言
• 源数据集: 原始数据
• 任务类别: 文本到文本生成、翻译
• 论文代码ID: ccmatrix
• 标签: 条件文本生成

数据集统计

• 语言数量: 90种
• 双语文本数量: 1,197
• 文件总数: 90
• 总令牌数: 112.14亿
• 总句子片段数: 73.7亿

数据集结构

• 数据实例: 每个实例包含一个整数ID、一个分数和一个翻译字典，包含两种语言的文本。
• 数据字段: ID、分数、翻译字典（语言1和语言2文本）
• 数据分割: 仅提供训练集

引用信息

• 使用此数据集时，请引用以下文献：
  1. CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data
  2. CCMatrix: Mining Billions of High-Quality Parallel Sentences on the WEB
  3. Beyond English-Centric Multilingual Machine Translation

数据集加载示例

python from datasets import load_dataset dataset = load_dataset("yhavinga/ccmatrix", "en-nl", streaming=True)

此示例展示了如何以流模式加载en-nl数据集。

搜集汇总

背景与挑战

背景概述

CCMatrix v1是一个多语言平行语料库，包含90种语言和1,197个双语对，适用于翻译任务。数据集通过基于边缘的bitext挖掘技术从网络爬取数据中提取，总token数达112.14G，句子片段数达7.37G。