Beetle-Data/en-for-sr-100M-pretok
收藏官方服务：
资源简介：
该数据集名为Beetle-Data/en-for-sr-100M-pretok，是一个预分块的数据集，包含513个标记的打包序列（input_ids），确保没有跨文档混合。数据以增量方式分片上传，所有部分上传完成后会通过标记文件`data/_finalized.json`进行确认。
Pretokenized chunks (`input_ids` = 513-token packed sequences, no cross-document bleeding). Sharded incrementally; the marker `data/_finalized.json` is committed once all parts are uploaded.
提供机构：
Beetle-Data
