toksuite/toksuite_pretraining_data
收藏资源简介：
--- configs: - config_name: fas_Arab data_files: - split: train path: "fas_Arab/*.chunk.*.jsonl" - split: validation path: "fas_Arab/*.val.jsonl" - config_name: ita_Latn data_files: - split: train path: "ita_Latn/*.chunk.*.jsonl" - split: validation path: "ita_Latn/*.val.jsonl" - config_name: tur_Latn data_files: - split: train path: "tur_Latn/*.chunk.*.jsonl" - split: validation path: "tur_Latn/*.val.jsonl" - config_name: cmn_Hani data_files: - split: train path: "cmn_Hani/*.chunk.*.jsonl" - split: validation path: "cmn_Hani/*.val.jsonl" - config_name: fw_edu data_files: - split: train path: "fw_edu/*chunk.*.jsonl" ---
数据集配置： - 配置名称：fas_Arab 数据文件： - 拆分：训练集 路径："fas_Arab/*.chunk.*.jsonl" - 拆分：验证集 路径："fas_Arab/*.val.jsonl" - 配置名称：ita_Latn 数据文件： - 拆分：训练集 路径："ita_Latn/*.chunk.*.jsonl" - 拆分：验证集 路径："ita_Latn/*.val.jsonl" - 配置名称：tur_Latn 数据文件： - 拆分：训练集 路径："tur_Latn/*.chunk.*.jsonl" - 拆分：验证集 路径："tur_Latn/*.val.jsonl" - 配置名称：cmn_Hani 数据文件： - 拆分：训练集 路径："cmn_Hani/*.chunk.*.jsonl" - 拆分：验证集 路径："cmn_Hani/*.val.jsonl" - 配置名称：fw_edu 数据文件： - 拆分：训练集 路径："fw_edu/*chunk.*.jsonl"
