pt-sk/pretraining-dataset
收藏Hugging Face2024-12-21 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/pt-sk/pretraining-dataset
下载链接
链接失效反馈官方服务：
资源简介：
数据集的token是使用TikToken的cl100k_base分词器准备的，该分词器用于GPT3.5和GPT4。
Tokens are prepared using TikTokens cl100k_base tokenizer, which is used for GPT3.5 and GPT4.
提供机构：
pt-sk
