遇见数据集

Beetle-Data/en-for-ja-2B-pretok

收藏
Hugging Face2026-05-18 更新2026-05-31 收录
官方服务:

资源简介:

预分块的数据(`input_ids` = 513个token的打包序列,无跨文档混合)。数据被增量分片上传;标记文件`data/_finalized.json`在所有部分上传完成后提交。

Pretokenized chunks (`input_ids` = 513-token packed sequences, no cross-document bleeding). Sharded incrementally; the marker `data/_finalized.json` is committed once all parts are uploaded.

提供机构:
Beetle-Data
二维码
社区交流群
二维码
科研交流群
商业服务