遇见数据集

Beetle-Data/en-for-ko-28B

收藏
Hugging Face2026-05-03 更新2026-05-31 收录
官方服务:

资源简介:

这是一个名为Beetle-Data/en-for-ko-28B的数据集,包含预分块的token序列(input_ids为513个token的打包序列,无跨文档泄露)。数据被分片增量上传,所有部分上传完成后,会通过data/_finalized.json标记确认。

Pretokenized chunks (input_ids = 513-token packed sequences, no cross-document bleeding). Sharded incrementally; the marker data/_finalized.json is committed once all parts are uploaded.

提供机构:
Beetle-Data
二维码
社区交流群
二维码
科研交流群
商业服务