aklein4/fw-45b
收藏Hugging Face2024-10-23 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/aklein4/fw-45b
下载链接
链接失效反馈官方服务：
资源简介：
Fineweb sample-100BT数据集使用gpt2 tokenizer进行了tokenization处理，并将序列截断为1024个token的长度。为了提高效率，tokens以uint16 numpy数组的形式存储，并以webdataset格式存储分片。该数据集主要用于文本生成任务，语言为英语，大小在10B到100B之间。
The Fineweb sample-100BT dataset is tokenized using the gpt2 tokenizer, with sequences truncated to a length of 1024 tokens. For efficiency, tokens are stored in uint16 numpy arrays, and shards are stored in the webdataset format. This dataset is primarily used for text generation tasks, is in English, and has a size between 10B and 100B.
提供机构：
aklein4
