Beetle-Data/el-100M-pretok
收藏官方服务：
资源简介：
该数据集名为Beetle-Data/el-100M-pretok，是一个预分块的数据集，使用513个token的打包序列作为输入标识符（input_ids），确保没有跨文档混合。数据以分片形式增量上传，并通过data/_finalized.json文件标记上传完成。
The dataset named Beetle-Data/el-100M-pretok is pretokenized into chunks using 513-token packed sequences as input_ids, with no cross-document bleeding. It is sharded incrementally, and the marker data/_finalized.json is committed once all parts are uploaded.
提供机构：
Beetle-Data
