baddddddddd/fineweb2-fil-1B-morphlingv2-tokenized

--- dataset_info: features: - name: input_ids list: int32 - name: attention_mask list: int8 splits: - name: train num_bytes: 8145762035 num_examples: 1807170 download_size: 13030327867 dataset_size: 8145762035 configs: - config_name: default data_files: - split: train path: data/train-* ---数据集信息： 特征项： - 输入标识序列（input_ids）：由32位整数构成的列表 - 注意力掩码（attention_mask）：由8位整数构成的列表 数据集划分： - 训练集（train）：占用字节数为8145762035，样本总数为1807170 下载总大小：13030327867 数据集实际占用总大小：8145762035 配置项： - 默认配置（default）： 数据文件配置： - 训练集划分：数据路径为data/train-*