hac541309/multilingual_tokenizers
收藏官方服务：
资源简介：
--- license: other --- Collection of tokenizers from various sources. My own are Apache 2.0 but others are not. They are each accompanied by their license.
许可证：其他（other） 本数据集收录了来自多种来源的分词器（tokenizer）。 本项目自研的分词器采用Apache 2.0许可证，但其余来源的分词器所遵循的许可证并非如此。每个分词器均附带其对应的许可证文件。
提供机构：
hac541309原始信息汇总
数据集概述
数据集名称
Collection of tokenizers from various sources
许可证信息
- 数据集中包含的tokenizers来自不同来源，许可证各不相同。
- 作者自己的tokenizers遵循Apache 2.0许可证。
- 其他tokenizers附带各自的许可证。
