AraFus/arafusion-arabic-packed-morphbpe-100pct

--- dataset_info: features: - name: input_ids sequence: int32 - name: dialect_label dtype: int64 splits: - name: train num_bytes: 229645192940.0 num_examples: 111478249 - name: validation num_bytes: 1153995520.0 num_examples: 560192 download_size: 117107849259 dataset_size: 230799188460.0 configs: - config_name: default data_files: - split: train path: data/train-* - split: validation path: data/validation-* ---数据集信息： 特征项： - 名称：输入令牌ID（input_ids），序列类型为int32（32位整数） - 名称：方言标签（dialect_label），数据类型为int64（64位整数） 数据集划分： - 划分名称：训练集（train），占用字节数：229645192940.0，样本数量：111478249 - 划分名称：验证集（validation），占用字节数：1153995520.0，样本数量：560192 下载大小：117107849259，数据集总大小：230799188460.0 配置项： - 配置名称：默认配置（default），数据文件： - 划分：训练集（train），路径：data/train-* - 划分：验证集（validation），路径：data/validation-*