spsither/tibetan_monolingual_A_filtered_deduped
收藏Hugging Face2024-04-26 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/spsither/tibetan_monolingual_A_filtered_deduped
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是从spsither/tibetan_monolingual_A_meta中筛选出来的，筛选条件包括：句子中最大音节长度大于1且小于9，句子的字符长度大于15且小于1000。筛选后的数据进行了去重处理。数据集包含18GB的文本数据，但并非所有数据都是干净的。数据集分为训练集和测试集，训练集包含93,214,402个样本，测试集包含11,561,844个样本。
该数据集是从spsither/tibetan_monolingual_A_meta中筛选出来的，筛选条件包括：句子中最大音节长度大于1且小于9，句子的字符长度大于15且小于1000。筛选后的数据进行了去重处理。数据集包含18GB的文本数据，但并非所有数据都是干净的。数据集分为训练集和测试集，训练集包含93,214,402个样本，测试集包含11,561,844个样本。
提供机构：
spsither
原始信息汇总
数据集概述
数据集特征
- 名称: text
- 数据类型: string
数据集分割
- 训练集
- 样本数量: 93214402
- 数据量: 14168942998.612116 字节
- 测试集
- 样本数量: 11561844
- 数据量: 1742213221.9136963 字节
数据集大小
- 下载大小: 5875689051 字节
- 总数据量: 15911156220.525812 字节
数据文件配置
- 默认配置
- 训练数据路径: data/train-*
- 测试数据路径: data/test-*
搜集汇总
数据集介绍
以上内容由遇见数据集搜集并总结生成
