Toki
收藏B2FIND2026-04-29 收录
下载链接：
https://b2find.eudat.eu/dataset/664fd6e3-7ed6-5bea-9b30-8ef2cab6ac95
下载链接
链接失效反馈官方服务：
资源简介：
Toki is a configurable tokeniser, i.e. a module for segmentation of running text into tokens (word-like units) and sentences.
