Beetle-Data/en-for-tl-2B-pretok
收藏官方服务：
资源简介：
Beetle-Data/en-for-tl-2B-pretok是一个预分词的数据集，包含513个令牌的打包序列（input_ids），确保没有跨文档的混合。数据以分片形式增量上传，当所有部分上传完成后，会通过提交data/_finalized.json文件作为标记。
Pretokenized chunks (input_ids = 513-token packed sequences, no cross-document bleeding). Sharded incrementally; the marker data/_finalized.json is committed once all parts are uploaded.
提供机构：
Beetle-Data
