Beetle-Data/en-for-zh-28B
收藏官方服务:
资源简介:
这是一个预分块的数据集,每个块是包含513个标记的打包序列(input_ids),没有跨文档混合。数据是分片上传的,标记文件data/_finalized.json用于指示所有部分已上传完成。
Pretokenized chunks (input_ids = 513-token packed sequences, no cross-document bleeding). Sharded incrementally; the marker data/_finalized.json is committed once all parts are uploaded.
提供机构:
Beetle-Data


