stephantulkens/fineweb-vocab
收藏Hugging Face2025-10-15 更新2025-10-25 收录
下载链接：
https://hf-mirror.com/datasets/stephantulkens/fineweb-vocab
下载链接
链接失效反馈官方服务：
资源简介：
这是FineWeb 10Bt样本的词汇表，通过使用bert-base-uncased分词器进行规范化和预处理获得。数据集包含1.85百万个词汇及其相关频率和文档频率。数据集已按频率排序，因此获取N个最高频的行也能得到N个最频繁的词汇。
This is the vocabulary of the 10Bt sample of [FineWeb](https://huggingface.co/datasets/HuggingFaceFW/fineweb). This vocabulary was obtained by normalizing and pretokenizing the vocabulary using the [bert-base-uncased](google-bert/bert-base-uncased) tokenizer.
提供机构：
stephantulkens
