tiktoken
收藏官方服务：
资源简介：
tiktoken is a fast BPE tokeniser, mainly use for encoding.
tiktoken 是一款快速的字节对编码（Byte Pair Encoding，简称BPE）分词器，主要用于编码任务。
创建时间：
2023-03-08
社区交流群
科研交流群
商业服务
tiktoken is a fast BPE tokeniser, mainly use for encoding.
tiktoken 是一款快速的字节对编码（Byte Pair Encoding，简称BPE）分词器，主要用于编码任务。