Beetle-Data/en-for-ko-100M-pretok
收藏官方服务：
资源简介：
Beetle-Data/en-for-ko-100M-pretok是一个预分词的数据集，包含已处理为513个令牌打包序列的块，确保没有跨文档混合。数据以分片方式逐步上传，并在所有部分上传完成后通过标记文件data/_finalized.json进行确认。
Pretokenized chunks (input_ids = 513-token packed sequences, no cross-document bleeding). Sharded incrementally; the marker data/_finalized.json is committed once all parts are uploaded.
提供机构：
Beetle-Data
