Beetle-Data/da-100M-pretok
收藏官方服务：
资源简介：
该数据集名为Beetle-Data/da-100M-pretok，是一个经过预分块处理的数据集，每个块包含513个标记的打包序列（input_ids），确保没有跨文档的混合。数据集被分片上传，所有部分上传完成后，会通过data/_finalized.json文件进行标记。
Pretokenized chunks (`input_ids` = 513-token packed sequences, no cross-document bleeding). Sharded incrementally; the marker `data/_finalized.json` is committed once all parts are uploaded.
提供机构：
Beetle-Data
