遇见数据集

bluelightai-dev/pythia_clt_pretrain_data_tokenized

收藏
Hugging Face2025-10-24 更新2025-11-01 收录
官方服务:

资源简介:

该数据集包含文本输入及其对应的input_ids和token_bounds信息,适用于训练自然语言处理模型。数据集分为train部分,共有3499772个示例,大小为199687564700字节。

The dataset includes text inputs along with their corresponding input_ids and token_bounds information, suitable for training natural language processing models. It is split into a train section, containing 3,499,772 examples, with a total size of 199,687,564,700 bytes.

提供机构:
bluelightai-dev
二维码
社区交流群
二维码
科研交流群
商业服务