arcee-globe/AlGhafa-Arabic-LLM-Benchmark-Native-10percent

--- dataset_info: - config_name: mcq_exams_test_ar features: - name: query dtype: string - name: sol1 dtype: string - name: sol2 dtype: string - name: sol3 dtype: string - name: sol4 dtype: string - name: label dtype: string splits: - name: validation num_bytes: 1135 num_examples: 5 - name: test num_bytes: 15009.272890484739 num_examples: 55 download_size: 17385 dataset_size: 16144.272890484739 - config_name: meta_ar_dialects features: - name: query dtype: string - name: sol1 dtype: string - name: sol2 dtype: string - name: sol3 dtype: string - name: sol4 dtype: string - name: label dtype: string splits: - name: validation num_bytes: 4919 num_examples: 5 - name: test num_bytes: 560765.7091751621 num_examples: 539 download_size: 325716 dataset_size: 565684.7091751621 - config_name: meta_ar_msa features: - name: query dtype: string - name: sol1 dtype: string - name: sol2 dtype: string - name: sol3 dtype: string - name: sol4 dtype: string - name: label dtype: string splits: - name: validation num_bytes: 5413 num_examples: 5 - name: test num_bytes: 94353.22569832402 num_examples: 89 download_size: 76215 dataset_size: 99766.22569832402 - config_name: multiple_choice_facts_truefalse_balanced_task features: - name: query dtype: string - name: sol1 dtype: string - name: sol2 dtype: string - name: label dtype: string splits: - name: validation num_bytes: 7919 num_examples: 5 - name: test num_bytes: 11313.96 num_examples: 7 download_size: 32526 dataset_size: 19232.96 - config_name: multiple_choice_grounded_statement_soqal_task features: - name: query dtype: string - name: sol1 dtype: string - name: sol2 dtype: string - name: sol3 dtype: string - name: sol4 dtype: string - name: sol5 dtype: string - name: label dtype: string splits: - name: validation num_bytes: 3954 num_examples: 5 - name: test num_bytes: 15800.2 num_examples: 15 download_size: 26787 dataset_size: 19754.2 - config_name: multiple_choice_grounded_statement_xglue_mlqa_task features: - name: query dtype: string - name: sol1 dtype: string - name: sol2 dtype: string - name: sol3 dtype: string - name: sol4 dtype: string - name: sol5 dtype: string - name: label dtype: string splits: - name: validation num_bytes: 4082 num_examples: 5 - name: test num_bytes: 14198.9 num_examples: 15 download_size: 23374 dataset_size: 18280.9 - config_name: multiple_choice_rating_sentiment_no_neutral_task features: - name: query dtype: string - name: sol1 dtype: string - name: sol2 dtype: string - name: label dtype: string splits: - name: validation num_bytes: 846 num_examples: 5 - name: test num_bytes: 140666.27354596622 num_examples: 799 download_size: 51184 dataset_size: 141512.27354596622 - config_name: multiple_choice_rating_sentiment_task features: - name: query dtype: string - name: sol1 dtype: string - name: sol2 dtype: string - name: sol3 dtype: string - name: label dtype: string splits: - name: validation num_bytes: 879 num_examples: 5 - name: test num_bytes: 121763.86071726438 num_examples: 599 download_size: 43605 dataset_size: 122642.86071726438 - config_name: multiple_choice_sentiment_task features: - name: query dtype: string - name: sol1 dtype: string - name: sol2 dtype: string - name: sol3 dtype: string - name: label dtype: string splits: - name: validation num_bytes: 1320 num_examples: 5 - name: test num_bytes: 45643.6 num_examples: 172 download_size: 27552 dataset_size: 46963.6 configs: - config_name: mcq_exams_test_ar data_files: - split: validation path: mcq_exams_test_ar/validation-* - split: test path: mcq_exams_test_ar/test-* - config_name: meta_ar_dialects data_files: - split: validation path: meta_ar_dialects/validation-* - split: test path: meta_ar_dialects/test-* - config_name: meta_ar_msa data_files: - split: validation path: meta_ar_msa/validation-* - split: test path: meta_ar_msa/test-* - config_name: multiple_choice_facts_truefalse_balanced_task data_files: - split: validation path: multiple_choice_facts_truefalse_balanced_task/validation-* - split: test path: multiple_choice_facts_truefalse_balanced_task/test-* - config_name: multiple_choice_grounded_statement_soqal_task data_files: - split: validation path: multiple_choice_grounded_statement_soqal_task/validation-* - split: test path: multiple_choice_grounded_statement_soqal_task/test-* - config_name: multiple_choice_grounded_statement_xglue_mlqa_task data_files: - split: validation path: multiple_choice_grounded_statement_xglue_mlqa_task/validation-* - split: test path: multiple_choice_grounded_statement_xglue_mlqa_task/test-* - config_name: multiple_choice_rating_sentiment_no_neutral_task data_files: - split: validation path: multiple_choice_rating_sentiment_no_neutral_task/validation-* - split: test path: multiple_choice_rating_sentiment_no_neutral_task/test-* - config_name: multiple_choice_rating_sentiment_task data_files: - split: validation path: multiple_choice_rating_sentiment_task/validation-* - split: test path: multiple_choice_rating_sentiment_task/test-* - config_name: multiple_choice_sentiment_task data_files: - split: validation path: multiple_choice_sentiment_task/validation-* - split: test path: multiple_choice_sentiment_task/test-* ---数据集信息： - 配置名称：mcq_exams_test_ar 特征字段： - 题干（query）：字符串类型 - 选项1（sol1）：字符串类型 - 选项2（sol2）：字符串类型 - 选项3（sol3）：字符串类型 - 选项4（sol4）：字符串类型 - 标签（label）：字符串类型 数据集划分： - 划分名称：验证集，字节大小：1135，样本数量：5 - 划分名称：测试集，字节大小：15009.272890484739，样本数量：55 下载总大小：17385，数据集总占用大小：16144.272890484739 - 配置名称：meta_ar_dialects 特征字段： - 题干（query）：字符串类型 - 选项1（sol1）：字符串类型 - 选项2（sol2）：字符串类型 - 选项3（sol3）：字符串类型 - 选项4（sol4）：字符串类型 - 标签（label）：字符串类型 数据集划分： - 划分名称：验证集，字节大小：4919，样本数量：5 - 划分名称：测试集，字节大小：560765.7091751621，样本数量：539 下载总大小：325716，数据集总占用大小：565684.7091751621 - 配置名称：meta_ar_msa 特征字段： - 题干（query）：字符串类型 - 选项1（sol1）：字符串类型 - 选项2（sol2）：字符串类型 - 选项3（sol3）：字符串类型 - 选项4（sol4）：字符串类型 - 标签（label）：字符串类型 数据集划分： - 划分名称：验证集，字节大小：5413，样本数量：5 - 划分名称：测试集，字节大小：94353.22569832402，样本数量：89 下载总大小：76215，数据集总占用大小：99766.22569832402 - 配置名称：multiple_choice_facts_truefalse_balanced_task 特征字段： - 题干（query）：字符串类型 - 选项1（sol1）：字符串类型 - 选项2（sol2）：字符串类型 - 标签（label）：字符串类型 数据集划分： - 划分名称：验证集，字节大小：7919，样本数量：5 - 划分名称：测试集，字节大小：11313.96，样本数量：7 下载总大小：32526，数据集总占用大小：19232.96 - 配置名称：multiple_choice_grounded_statement_soqal_task 特征字段： - 题干（query）：字符串类型 - 选项1（sol1）：字符串类型 - 选项2（sol2）：字符串类型 - 选项3（sol3）：字符串类型 - 选项4（sol4）：字符串类型 - 选项5（sol5）：字符串类型 - 标签（label）：字符串类型 数据集划分： - 划分名称：验证集，字节大小：3954，样本数量：5 - 划分名称：测试集，字节大小：15800.2，样本数量：15 下载总大小：26787，数据集总占用大小：19754.2 - 配置名称：multiple_choice_grounded_statement_xglue_mlqa_task 特征字段： - 题干（query）：字符串类型 - 选项1（sol1）：字符串类型 - 选项2（sol2）：字符串类型 - 选项3（sol3）：字符串类型 - 选项4（sol4）：字符串类型 - 选项5（sol5）：字符串类型 - 标签（label）：字符串类型 数据集划分： - 划分名称：验证集，字节大小：4082，样本数量：5 - 划分名称：测试集，字节大小：14198.9，样本数量：15 下载总大小：23374，数据集总占用大小：18280.9 - 配置名称：multiple_choice_rating_sentiment_no_neutral_task 特征字段： - 题干（query）：字符串类型 - 选项1（sol1）：字符串类型 - 选项2（sol2）：字符串类型 - 标签（label）：字符串类型 数据集划分： - 划分名称：验证集，字节大小：846，样本数量：5 - 划分名称：测试集，字节大小：140666.27354596622，样本数量：799 下载总大小：51184，数据集总占用大小：141512.27354596622 - 配置名称：multiple_choice_rating_sentiment_task 特征字段： - 题干（query）：字符串类型 - 选项1（sol1）：字符串类型 - 选项2（sol2）：字符串类型 - 选项3（sol3）：字符串类型 - 标签（label）：字符串类型 数据集划分： - 划分名称：验证集，字节大小：879，样本数量：5 - 划分名称：测试集，字节大小：121763.86071726438，样本数量：599 下载总大小：43605，数据集总占用大小：122642.86071726438 - 配置名称：multiple_choice_sentiment_task 特征字段： - 题干（query）：字符串类型 - 选项1（sol1）：字符串类型 - 选项2（sol2）：字符串类型 - 选项3（sol3）：字符串类型 - 标签（label）：字符串类型 数据集划分： - 划分名称：验证集，字节大小：1320，样本数量：5 - 划分名称：测试集，字节大小：45643.6，样本数量：172 下载总大小：27552，数据集总占用大小：46963.6 配置项： - 配置名称：mcq_exams_test_ar 数据文件： - 划分：验证集，路径：mcq_exams_test_ar/validation-* - 划分：测试集，路径：mcq_exams_test_ar/test-* - 配置名称：meta_ar_dialects 数据文件： - 划分：验证集，路径：meta_ar_dialects/validation-* - 划分：测试集，路径：meta_ar_dialects/test-* - 配置名称：meta_ar_msa 数据文件： - 划分：验证集，路径：meta_ar_msa/validation-* - 划分：测试集，路径：meta_ar_msa/test-* - 配置名称：multiple_choice_facts_truefalse_balanced_task 数据文件： - 划分：验证集，路径：multiple_choice_facts_truefalse_balanced_task/validation-* - 划分：测试集，路径：multiple_choice_facts_truefalse_balanced_task/test-* - 配置名称：multiple_choice_grounded_statement_soqal_task 数据文件： - 划分：验证集，路径：multiple_choice_grounded_statement_soqal_task/validation-* - 划分：测试集，路径：multiple_choice_grounded_statement_soqal_task/test-* - 配置名称：multiple_choice_grounded_statement_xglue_mlqa_task 数据文件： - 划分：验证集，路径：multiple_choice_grounded_statement_xglue_mlqa_task/validation-* - 划分：测试集，路径：multiple_choice_grounded_statement_xglue_mlqa_task/test-* - 配置名称：multiple_choice_rating_sentiment_no_neutral_task 数据文件： - 划分：验证集，路径：multiple_choice_rating_sentiment_no_neutral_task/validation-* - 划分：测试集，路径：multiple_choice_rating_sentiment_no_neutral_task/test-* - 配置名称：multiple_choice_rating_sentiment_task 数据文件： - 划分：验证集，路径：multiple_choice_rating_sentiment_task/validation-* - 划分：测试集，路径：multiple_choice_rating_sentiment_task/test-* - 配置名称：multiple_choice_sentiment_task 数据文件： - 划分：验证集，路径：multiple_choice_sentiment_task/validation-* - 划分：测试集，路径：multiple_choice_sentiment_task/test-*