eduagarcia/mc4-pt
收藏Hugging Face2024-02-29 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/eduagarcia/mc4-pt
下载链接
链接失效反馈官方服务：
资源简介：
MC4-PT是MC4数据集的葡萄牙语子集。MC4是一个多语言的、经过清理的Common Crawl网页爬取语料库版本。这是原始版本，去重版本可在指定链接获取。
提供机构：
eduagarcia
原始信息汇总
数据集概述
数据集信息
- 特征列表:
- 名称: text
- 数据类型: string
- 名称: timestamp
- 数据类型: string
- 名称: url
- 数据类型: string
- 名称: meta
- 结构:
- 名称: dedup
- 结构:
- 名称: exact_norm
- 结构:
- 名称: cluster_main_idx
- 数据类型: int64
- 名称: cluster_size
- 数据类型: int64
- 名称: exact_hash_idx
- 数据类型: int64
- 名称: is_duplicate
- 数据类型: bool
- 名称: cluster_main_idx
- 结构:
- 名称: minhash
- 结构:
- 名称: cluster_main_idx
- 数据类型: int64
- 名称: cluster_size
- 数据类型: int64
- 名称: is_duplicate
- 数据类型: bool
- 名称: minhash_idx
- 数据类型: int64
- 名称: cluster_main_idx
- 结构:
- 名称: exact_norm
- 结构:
- 名称: dedup
- 结构:
- 名称: text
数据集分割
- 名称: train
- 字节数: 520490704647
- 样本数: 169073811
数据集大小
- 下载大小: 600645287
- 数据集大小: 520490704647
