mhonsel/edu_fineweb10B_tokens

--- pretty_name: FineWeb-Edu sample-10BT GPT-2 tokens size_categories: - 1B<n<10B --- This dataset consists of the FineWeb-Edu sample version (sample-10BT), converted to GPT-2 tokens. The 10B tokens are split up between the 100 npy files. https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu--- pretty_name: FineWeb-Edu sample-10BT GPT-2 令牌（Token） size_categories: - 10亿 < 令牌数 < 100亿 --- 本数据集为FineWeb-Edu的sample-10BT采样版本，已转换为GPT-2令牌。其包含的100亿令牌被拆分至100个npy文件中。 https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu