stephantulkens/fineweb-vocab
收藏官方服务：
资源简介：
这是FineWeb 10Bt样本的词汇表，通过使用bert-base-uncased分词器进行规范化和预处理获得。数据集包含1.85百万个词汇及其相关频率和文档频率。数据集已按频率排序，因此获取N个最高频的行也能得到N个最频繁的词汇。
This is the vocabulary of the 10Bt sample of [FineWeb](https://huggingface.co/datasets/HuggingFaceFW/fineweb). This vocabulary was obtained by normalizing and pretokenizing the vocabulary using the [bert-base-uncased](google-bert/bert-base-uncased) tokenizer.
提供机构：
stephantulkens
