flax-community/conceptual-12m-multilingual-marian-128

---
language:
- en
- de
- es
- fr
---
This dataset is created from subset of [Conceptual Captions](https://ai.google.com/research/ConceptualCaptions/). The original dataset has 12M captions but this dataset has around 10M image, caption pairs in different languages with 2.5M unique images. This dataset has captions translated from English to Spanish, German, French using language specific English to [Marian](https://huggingface.co/Helsinki-NLP) models (with sequence length 128). Data distribution is following:

`train_file_marian_final.tsv`: 10002432 captions (2500608 captions of English, German, Spanish, French each)
<br />
`val_file_marian_final.tsv`: 102400 captions (25600 captions of English, German, Spanish, French each)

原始信息汇总

数据集概述

数据来源

• 该数据集是从Conceptual Captions的子集中创建的。

数据规模

• 原始数据集包含1200万条描述，而该数据集包含约1000万对图像和描述，其中有250万张独特的图像。

语言支持

• 数据集包含英语、德语、西班牙语和法语的描述。
• 描述从英语翻译成西班牙语、德语和法语，使用特定语言的英语到Marian模型（序列长度为128）。

数据分布

• train_file_marian_final.tsv: 包含10002432条描述（每种语言各2500608条）。
• val_file_marian_final.tsv: 包含102400条描述（每种语言各25600条）。