ErfanMoosaviMonazzah/mOSCAR-Persian

mOSCAR Persian数据集是mOSCAR波斯语分割的克隆，进一步分为单个文档，URL和文档ID与mOSCAR一致。数据集的特征包括URL、文档ID和文本，训练集包含2,166,250个样本，总大小为869,942,546字节。数据集的下载大小为264,393,568字节。数据集的许可证为cc-by-4.0，任务类别为文本生成，语言为波斯语，标签包括OSCAR、mOSCAR、语言建模和波斯数据。数据集的pretty_name为mOSCAR Persian Data，大小类别为1M<n<10M。数据集的来源包括mOSCAR仓库和相关论文。

The mOSCAR-Persian dataset is a clone of the Persian split of the mOSCAR dataset, with images excluded and further divided into single documents. It includes features such as URL, document ID, and text, suitable for text generation tasks. The dataset is in Persian, containing approximately 2.16 million examples with a total size of 869,942,546 bytes. It is licensed under cc-by-4.0.

原始信息汇总

mOSCAR Persian Data 数据集概述

数据集信息

• 特征:
  • url: 字符串类型
  • doc_id: 字符串类型
  • text: 字符串类型
• 分割:
  • train: 包含2,166,250个样本，总大小为869,942,546字节
• 下载大小: 264,393,568字节
• 数据集大小: 869,942,546字节
• 配置:
  • default: 数据文件路径为data/train-*
• 许可证: CC BY 4.0
• 任务类别: 文本生成
• 语言: 波斯语
• 标签:
  • OSCAR
  • mOSCAR
  • 语言建模
  • 波斯语数据
• 名称: mOSCAR Persian Data
• 大小类别: 1M<n<10M

数据集描述

• 语言: 波斯语

数据集来源

• 仓库: mOSCAR
• 论文: mOSCAR: A Large-scale Multilingual and Multimodal Document-level Corpus

引用

@article{futeral2024moscar, title={mOSCAR: A Large-scale Multilingual and Multimodal Document-level Corpus}, author={Futeral, Matthieu and Zebaze, Armel and Suarez, Pedro Ortiz and Abadji, Julien and Lacroix, R{e}mi and Schmid, Cordelia and Bawden, Rachel and Sagot, Beno{^i}t}, journal={arXiv preprint arXiv:2406.08707}, year={2024} }