Marlon154/openwebtext-gemma-2-context-128
收藏Hugging Face2025-07-30 更新2025-10-25 收录
下载链接：
https://hf-mirror.com/datasets/Marlon154/openwebtext-gemma-2-context-128
下载链接
链接失效反馈官方服务：
资源简介：
这是一个使用gemma-2b tokenizer进行预标记的OpenWebTextCorpus数据集，上下文大小为128。该数据集是为了在使用Gemma模型(gemma-2b, gemma-2b-it, gemma-7b, gemma-7b-it)时进行性能优化而创建的。
This dataset is a pre-tokenized version of the OpenWebTextCorpus using the gemma-2b tokenizer with a context size of 128. It is created for performance optimization when using Gemma models (gemma-2b, gemma-2b-it, gemma-7b, gemma-7b-it).
提供机构：
Marlon154
