Beetle-Data/fi-100M-pretok
收藏官方服务：
资源简介：
预分块的语料（`input_ids` = 513个标记的打包序列，无跨文档泄漏）。采用增量分片；标记文件`data/_finalized.json`在所有部分上传完成后提交。
Pretokenized chunks (`input_ids` = 513-token packed sequences, no cross-document bleeding). Sharded incrementally; the marker `data/_finalized.json` is committed once all parts are uploaded.
提供机构：
Beetle-Data
