alorenc/c4_30B_5M_split_30B

--- dataset_info: features: - name: input_ids list: int32 - name: attention_mask list: int8 splits: - name: train num_bytes: 150209340104 num_examples: 29291993 - name: validation num_bytes: 25034896 num_examples: 4882 download_size: 240334743825 dataset_size: 150234375000 configs: - config_name: default data_files: - split: train path: data/train-* - split: validation path: data/validation-* ---数据集信息： 特征： - 名称：输入标识符（input_ids），数据类型为int32类型列表 - 名称：注意力掩码（attention_mask），数据类型为int8类型列表 数据集划分： - 训练集（train）：字节占用量150209340104，样本数量29291993 - 验证集（validation）：字节占用量25034896，样本数量4882 下载总大小：240334743825 数据集总占用大小：150234375000 配置项： - 配置名称：默认配置（default），数据文件配置： - 训练集划分：文件路径为data/train-* - 验证集划分：文件路径为data/validation-*