got-tokenizer
收藏官方服务:
资源简介:
Custom BPE Tokenizer (8k Vocab) optimized for Game of Thrones text.
针对《权力的游戏》文本优化的自定义字节对编码(Byte Pair Encoding,BPE)分词器,词表规模为8000
创建时间:
2025-12-25

Custom BPE Tokenizer (8k Vocab) optimized for Game of Thrones text.
针对《权力的游戏》文本优化的自定义字节对编码(Byte Pair Encoding,BPE)分词器,词表规模为8000