emozilla/dolma-v1_7-3B-tokenized-llama3-nanoset
收藏Hugging Face2024-05-23 更新2024-07-22 收录
下载链接：
https://hf-mirror.com/datasets/emozilla/dolma-v1_7-3B-tokenized-llama3-nanoset
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是NousResearch/dolma-v1_7-3B的Tokenized（Llama 3）版本，适用于文本生成任务，主要用于语言建模和因果语言模型。数据集大小为100B到1T之间，语言为英语。可以作为Nanotron数据集使用，也可以直接使用numpy进行操作。
The Dolma dataset is a Tokenized version of NousResearch/dolma-v1_7-3B, processed with Llama 3, and used as a Nanotron dataset. It is primarily used for language modeling and casual language model tasks, supports English, and has a dataset size between 100B and 1T. Additionally, this dataset can be used directly with numpy, enabling efficient reading through memory-mapped files.
提供机构：
emozilla
