catallama/Catalan-Raw-Text
收藏Hugging Face2024-05-25 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/catallama/Catalan-Raw-Text
下载链接
链接失效反馈官方服务：
资源简介：
加泰罗尼亚语原始文本数据集是projecte-aina/catalan_general_crawling数据集的一个子集。该数据集包含404k个样本，总计331M个token，使用Llama-3 Tokenizer进行分词。数据集的语言为加泰罗尼亚语（ca-ES），包含两个数据分割：train和test。数据字段为text（字符串类型）。数据集遵循Creative Commons Attribution 4.0 International许可。
加泰罗尼亚语原始文本数据集是projecte-aina/catalan_general_crawling数据集的一个子集。该数据集包含404k个样本，总计331M个token，使用Llama-3 Tokenizer进行分词。数据集的语言为加泰罗尼亚语（ca-ES），包含两个数据分割：train和test。数据字段为text（字符串类型）。数据集遵循Creative Commons Attribution 4.0 International许可。
提供机构：
catallama
原始信息汇总
数据集概述
基本信息
- 名称: Catalan Raw Text
- 语言: 加泰罗尼亚语 (
ca) - 大小: 100K<n<1M
- 许可证: Creative Commons Attribution 4.0 International (cc-by-sa-4.0)
数据集组成
- 特征:
text(字符串类型)
- 分割:
train: 404414个样本，占用空间1070198932.3545526字节test: 5081个样本，占用空间13924389字节
- 下载大小: 660738691字节
- 数据集总大小: 1084123321.3545527字节
任务类别
- fill-mask
数据文件配置
- 配置名称: default
- 数据文件路径:
train: data/train-*test: data/test-*
来源数据集
- projecte-aina/catalan_general_crawling
