chanind/openwebtext-llama3
收藏Hugging Face2024-06-18 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/chanind/openwebtext-llama3
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是使用Llama 3分词器对Skylion007/openwebtext数据集进行预分词的版本，旨在优化使用Llama 3模型时的性能。数据集通过SAELens工具创建，并采用了特定的分词设置，包括上下文大小、是否打乱顺序、开始批处理标记、开始序列标记、序列分隔符标记等。数据集包含训练分割，具有1039455个样本，总大小为34065019260字节，下载大小为15973004443字节。
该数据集是使用Llama 3分词器对Skylion007/openwebtext数据集进行预分词的版本，旨在优化使用Llama 3模型时的性能。数据集通过SAELens工具创建，并采用了特定的分词设置，包括上下文大小、是否打乱顺序、开始批处理标记、开始序列标记、序列分隔符标记等。数据集包含训练分割，具有1039455个样本，总大小为34065019260字节，下载大小为15973004443字节。
提供机构：
chanind
