mrghofrani/cc-2023-23-fa

---
dataset_info:
features:
- name: url
dtype: string
- name: status
dtype: int64
- name: digest
dtype: string
- name: length
dtype: int64
- name: offset
dtype: int64
- name: filename
dtype: string
- name: languages
dtype: string
- name: content
dtype: string
splits:
- name: train
num_bytes: 2363943777
num_examples: 370234
download_size: 1051721718
dataset_size: 2363943777
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
language:
- fa
---

This is part of the Persian raw text available in the CommonCrawl's 2023-23 index. It is an initial output of the code [link](https://github.com/mrghofrani/cc-downloader).
I hope in the future I can release the whole Persian subset of the CommonCrawl 2023-23 index and newer indices.

原始信息汇总

数据集概述

数据集特征

• url：字符串类型
• status：整数类型（int64）
• digest：字符串类型
• length：整数类型（int64）
• offset：整数类型（int64）
• filename：字符串类型
• languages：字符串类型
• content：字符串类型

数据集划分

• train：
  • 字节数：2363943777
  • 示例数：370234

数据集大小

• 下载大小：1051721718字节
• 数据集大小：2363943777字节

配置

• default：
  • 数据文件路径：data/train-*

语言

• 波斯语（fa）