benchang1110/pretrainedtw
收藏Hugging Face2024-04-24 更新2024-06-11 收录
下载链接：
https://hf-mirror.com/datasets/benchang1110/pretrainedtw
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: title
dtype: string
- name: article
dtype: string
- name: label
dtype: string
splits:
- name: train
num_bytes: 4154802344
num_examples: 1067358
download_size: 2755606275
dataset_size: 4154802344
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
This is a dataset crawled from the web from various sources based on traditional Chinese.
# Data distribution
# Token distribution
calculated using LlamaTokenizer
Total tokens: 2,184,375,300 tokens (2.1B)
| news | wiki | tech | cosmopedia | human | science |
|----------|----------|----------|----------|----------|----------|
| 1.2B | 0.43B | 0.19B | 0.08B | 0.2B | 0.08B |
提供机构：
benchang1110
原始信息汇总
数据集概述
数据集特征
- title：字符串类型
- article：字符串类型
- label：字符串类型
数据集划分
- 训练集：
- 示例数量：1067358
- 数据大小：4154802344 字节
数据集大小
- 下载大小：2755606275 字节
- 数据集总大小：4154802344 字节
数据分布
- 总令牌数：2,184,375,300 (2.1B)
- 分布情况：
- 新闻：1.2B
- 维基：0.43B
- 科技：0.19B
- 宇宙百科：0.08B
- 人文：0.2B
- 科学：0.08B
