OVHaiLLM/MMLU_ru

--- pretty_name: MMLU (subjects as subsets) language: - ru task_categories: - question-answering - multiple-choice tags: - mmlu - scriptless - parquet configs: - config_name: abstract_algebra data_files: - split: test path: abstract_algebra/test/*.parquet - split: validation path: abstract_algebra/validation/*.parquet - config_name: anatomy data_files: - split: test path: anatomy/test/*.parquet - split: validation path: anatomy/validation/*.parquet - config_name: astronomy data_files: - split: test path: astronomy/test/*.parquet - split: validation path: astronomy/validation/*.parquet - config_name: business_ethics data_files: - split: test path: business_ethics/test/*.parquet - split: validation path: business_ethics/validation/*.parquet - config_name: clinical_knowledge data_files: - split: test path: clinical_knowledge/test/*.parquet - split: validation path: clinical_knowledge/validation/*.parquet - config_name: college_biology data_files: - split: test path: college_biology/test/*.parquet - split: validation path: college_biology/validation/*.parquet - config_name: college_chemistry data_files: - split: test path: college_chemistry/test/*.parquet - split: validation path: college_chemistry/validation/*.parquet - config_name: college_computer_science data_files: - split: test path: college_computer_science/test/*.parquet - split: validation path: college_computer_science/validation/*.parquet - config_name: college_mathematics data_files: - split: test path: college_mathematics/test/*.parquet - split: validation path: college_mathematics/validation/*.parquet - config_name: college_medicine data_files: - split: test path: college_medicine/test/*.parquet - split: validation path: college_medicine/validation/*.parquet - config_name: college_physics data_files: - split: test path: college_physics/test/*.parquet - split: validation path: college_physics/validation/*.parquet - config_name: computer_security data_files: - split: test path: computer_security/test/*.parquet - split: validation path: computer_security/validation/*.parquet - config_name: conceptual_physics data_files: - split: test path: conceptual_physics/test/*.parquet - split: validation path: conceptual_physics/validation/*.parquet - config_name: econometrics data_files: - split: test path: econometrics/test/*.parquet - split: validation path: econometrics/validation/*.parquet - config_name: electrical_engineering data_files: - split: test path: electrical_engineering/test/*.parquet - split: validation path: electrical_engineering/validation/*.parquet - config_name: elementary_mathematics data_files: - split: test path: elementary_mathematics/test/*.parquet - split: validation path: elementary_mathematics/validation/*.parquet - config_name: formal_logic data_files: - split: test path: formal_logic/test/*.parquet - split: validation path: formal_logic/validation/*.parquet - config_name: global_facts data_files: - split: test path: global_facts/test/*.parquet - split: validation path: global_facts/validation/*.parquet - config_name: high_school_biology data_files: - split: test path: high_school_biology/test/*.parquet - split: validation path: high_school_biology/validation/*.parquet - config_name: high_school_chemistry data_files: - split: test path: high_school_chemistry/test/*.parquet - split: validation path: high_school_chemistry/validation/*.parquet - config_name: high_school_computer_science data_files: - split: test path: high_school_computer_science/test/*.parquet - split: validation path: high_school_computer_science/validation/*.parquet - config_name: high_school_european_history data_files: - split: test path: high_school_european_history/test/*.parquet - split: validation path: high_school_european_history/validation/*.parquet - config_name: high_school_geography data_files: - split: test path: high_school_geography/test/*.parquet - split: validation path: high_school_geography/validation/*.parquet - config_name: high_school_government_and_politics data_files: - split: test path: high_school_government_and_politics/test/*.parquet - split: validation path: high_school_government_and_politics/validation/*.parquet - config_name: high_school_macroeconomics data_files: - split: test path: high_school_macroeconomics/test/*.parquet - split: validation path: high_school_macroeconomics/validation/*.parquet - config_name: high_school_mathematics data_files: - split: test path: high_school_mathematics/test/*.parquet - split: validation path: high_school_mathematics/validation/*.parquet - config_name: high_school_microeconomics data_files: - split: test path: high_school_microeconomics/test/*.parquet - split: validation path: high_school_microeconomics/validation/*.parquet - config_name: high_school_physics data_files: - split: test path: high_school_physics/test/*.parquet - split: validation path: high_school_physics/validation/*.parquet - config_name: high_school_psychology data_files: - split: test path: high_school_psychology/test/*.parquet - split: validation path: high_school_psychology/validation/*.parquet - config_name: high_school_statistics data_files: - split: test path: high_school_statistics/test/*.parquet - split: validation path: high_school_statistics/validation/*.parquet - config_name: high_school_us_history data_files: - split: test path: high_school_us_history/test/*.parquet - split: validation path: high_school_us_history/validation/*.parquet - config_name: high_school_world_history data_files: - split: test path: high_school_world_history/test/*.parquet - split: validation path: high_school_world_history/validation/*.parquet - config_name: human_aging data_files: - split: test path: human_aging/test/*.parquet - split: validation path: human_aging/validation/*.parquet - config_name: human_sexuality data_files: - split: test path: human_sexuality/test/*.parquet - split: validation path: human_sexuality/validation/*.parquet - config_name: international_law data_files: - split: test path: international_law/test/*.parquet - split: validation path: international_law/validation/*.parquet - config_name: jurisprudence data_files: - split: test path: jurisprudence/test/*.parquet - split: validation path: jurisprudence/validation/*.parquet - config_name: logical_fallacies data_files: - split: test path: logical_fallacies/test/*.parquet - split: validation path: logical_fallacies/validation/*.parquet - config_name: machine_learning data_files: - split: test path: machine_learning/test/*.parquet - split: validation path: machine_learning/validation/*.parquet - config_name: management data_files: - split: test path: management/test/*.parquet - split: validation path: management/validation/*.parquet - config_name: marketing data_files: - split: test path: marketing/test/*.parquet - split: validation path: marketing/validation/*.parquet - config_name: medical_genetics data_files: - split: test path: medical_genetics/test/*.parquet - split: validation path: medical_genetics/validation/*.parquet - config_name: miscellaneous data_files: - split: test path: miscellaneous/test/*.parquet - split: validation path: miscellaneous/validation/*.parquet - config_name: moral_disputes data_files: - split: test path: moral_disputes/test/*.parquet - split: validation path: moral_disputes/validation/*.parquet - config_name: moral_scenarios data_files: - split: test path: moral_scenarios/test/*.parquet - split: validation path: moral_scenarios/validation/*.parquet - config_name: nutrition data_files: - split: test path: nutrition/test/*.parquet - split: validation path: nutrition/validation/*.parquet - config_name: philosophy data_files: - split: test path: philosophy/test/*.parquet - split: validation path: philosophy/validation/*.parquet - config_name: prehistory data_files: - split: test path: prehistory/test/*.parquet - split: validation path: prehistory/validation/*.parquet - config_name: professional_accounting data_files: - split: test path: professional_accounting/test/*.parquet - split: validation path: professional_accounting/validation/*.parquet - config_name: professional_law data_files: - split: test path: professional_law/test/*.parquet - split: validation path: professional_law/validation/*.parquet - config_name: professional_medicine data_files: - split: test path: professional_medicine/test/*.parquet - split: validation path: professional_medicine/validation/*.parquet - config_name: professional_psychology data_files: - split: test path: professional_psychology/test/*.parquet - split: validation path: professional_psychology/validation/*.parquet - config_name: public_relations data_files: - split: test path: public_relations/test/*.parquet - split: validation path: public_relations/validation/*.parquet - config_name: security_studies data_files: - split: test path: security_studies/test/*.parquet - split: validation path: security_studies/validation/*.parquet - config_name: sociology data_files: - split: test path: sociology/test/*.parquet - split: validation path: sociology/validation/*.parquet - config_name: us_foreign_policy data_files: - split: test path: us_foreign_policy/test/*.parquet - split: validation path: us_foreign_policy/validation/*.parquet - config_name: virology data_files: - split: test path: virology/test/*.parquet - split: validation path: virology/validation/*.parquet - config_name: world_religions data_files: - split: test path: world_religions/test/*.parquet - split: validation path: world_religions/validation/*.parquet --- # MMLU (subjects as subsets) Script-less dataset with one subset per subject; splits normalized to `validation` and `test`. Columns: `question_<lang>`, `choices_<lang>`, `answer` (int index).数据集名称：MMLU（按学科划分子集版本） 语言：俄语 任务类别：问答任务、多项选择任务 标签：MMLU、无脚本（scriptless）、Parquet（parquet） 配置项： - 配置名称：抽象代数（abstract_algebra），数据文件： - 划分：测试集（test），路径：abstract_algebra/test/*.parquet - 划分：验证集（validation），路径：abstract_algebra/validation/*.parquet - 配置名称：解剖学（anatomy），数据文件： - 划分：测试集（test），路径：anatomy/test/*.parquet - 划分：验证集（validation），路径：anatomy/validation/*.parquet - 配置名称：天文学（astronomy），数据文件： - 划分：测试集（test），路径：astronomy/test/*.parquet - 划分：验证集（validation），路径：astronomy/validation/*.parquet - 配置名称：商业伦理（business_ethics），数据文件： - 划分：测试集（test），路径：business_ethics/test/*.parquet - 划分：验证集（validation），路径：business_ethics/validation/*.parquet - 配置名称：临床知识（clinical_knowledge），数据文件： - 划分：测试集（test），路径：clinical_knowledge/test/*.parquet - 划分：验证集（validation），路径：clinical_knowledge/validation/*.parquet - 配置名称：大学生物学（college_biology），数据文件： - 划分：测试集（test），路径：college_biology/test/*.parquet - 划分：验证集（validation），路径：college_biology/validation/*.parquet - 配置名称：大学化学（college_chemistry），数据文件： - 划分：测试集（test），路径：college_chemistry/test/*.parquet - 划分：验证集（validation），路径：college_chemistry/validation/*.parquet - 配置名称：大学计算机科学（college_computer_science），数据文件： - 划分：测试集（test），路径：college_computer_science/test/*.parquet - 划分：验证集（validation），路径：college_computer_science/validation/*.parquet - 配置名称：大学数学（college_mathematics），数据文件： - 划分：测试集（test），路径：college_mathematics/test/*.parquet - 划分：验证集（validation），路径：college_mathematics/validation/*.parquet - 配置名称：大学医学（college_medicine），数据文件： - 划分：测试集（test），路径：college_medicine/test/*.parquet - 划分：验证集（validation），路径：college_medicine/validation/*.parquet - 配置名称：大学物理（college_physics），数据文件： - 划分：测试集（test），路径：college_physics/test/*.parquet - 划分：验证集（validation），路径：college_physics/validation/*.parquet - 配置名称：计算机安全（computer_security），数据文件： - 划分：测试集（test），路径：computer_security/test/*.parquet - 划分：验证集（validation），路径：computer_security/validation/*.parquet - 配置名称：概念物理学（conceptual_physics），数据文件： - 划分：测试集（test），路径：conceptual_physics/test/*.parquet - 划分：验证集（validation），路径：conceptual_physics/validation/*.parquet - 配置名称：计量经济学（econometrics），数据文件： - 划分：测试集（test），路径：econometrics/test/*.parquet - 划分：验证集（validation），路径：econometrics/validation/*.parquet - 配置名称：电气工程（electrical_engineering），数据文件： - 划分：测试集（test），路径：electrical_engineering/test/*.parquet - 划分：验证集（validation），路径：electrical_engineering/validation/*.parquet - 配置名称：初等数学（elementary_mathematics），数据文件： - 划分：测试集（test），路径：elementary_mathematics/test/*.parquet - 划分：验证集（validation），路径：elementary_mathematics/validation/*.parquet - 配置名称：形式逻辑（formal_logic），数据文件： - 划分：测试集（test），路径：formal_logic/test/*.parquet - 划分：验证集（validation），路径：formal_logic/validation/*.parquet - 配置名称：全球事实（global_facts），数据文件： - 划分：测试集（test），路径：global_facts/test/*.parquet - 划分：验证集（validation），路径：global_facts/validation/*.parquet - 配置名称：高中生物学（high_school_biology），数据文件： - 划分：测试集（test），路径：high_school_biology/test/*.parquet - 划分：验证集（validation），路径：high_school_biology/validation/*.parquet - 配置名称：高中化学（high_school_chemistry），数据文件： - 划分：测试集（test），路径：high_school_chemistry/test/*.parquet - 划分：验证集（validation），路径：high_school_chemistry/validation/*.parquet - 配置名称：高中计算机科学（high_school_computer_science），数据文件： - 划分：测试集（test），路径：high_school_computer_science/test/*.parquet - 划分：验证集（validation），路径：high_school_computer_science/validation/*.parquet - 配置名称：高中欧洲历史（high_school_european_history），数据文件： - 划分：测试集（test），路径：high_school_european_history/test/*.parquet - 划分：验证集（validation），路径：high_school_european_history/validation/*.parquet - 配置名称：高中地理学（high_school_geography），数据文件： - 划分：测试集（test），路径：high_school_geography/test/*.parquet - 划分：验证集（validation），路径：high_school_geography/validation/*.parquet - 配置名称：高中政府与政治（high_school_government_and_politics），数据文件： - 划分：测试集（test），路径：high_school_government_and_politics/test/*.parquet - 划分：验证集（validation），路径：high_school_government_and_politics/validation/*.parquet - 配置名称：高中宏观经济学（high_school_macroeconomics），数据文件： - 划分：测试集（test），路径：high_school_macroeconomics/test/*.parquet - 划分：验证集（validation），路径：high_school_macroeconomics/validation/*.parquet - 配置名称：高中数学（high_school_mathematics），数据文件： - 划分：测试集（test），路径：high_school_mathematics/test/*.parquet - 划分：验证集（validation），路径：high_school_mathematics/validation/*.parquet - 配置名称：高中微观经济学（high_school_microeconomics），数据文件： - 划分：测试集（test），路径：high_school_microeconomics/test/*.parquet - 划分：验证集（validation），路径：high_school_microeconomics/validation/*.parquet - 配置名称：高中物理学（high_school_physics），数据文件： - 划分：测试集（test），路径：high_school_physics/test/*.parquet - 划分：验证集（validation），路径：high_school_physics/validation/*.parquet - 配置名称：高中心理学（high_school_psychology），数据文件： - 划分：测试集（test），路径：high_school_psychology/test/*.parquet - 划分：验证集（validation），路径：high_school_psychology/validation/*.parquet - 配置名称：高中统计学（high_school_statistics），数据文件： - 划分：测试集（test），路径：high_school_statistics/test/*.parquet - 划分：验证集（validation），路径：high_school_statistics/validation/*.parquet - 配置名称：高中美国历史（high_school_us_history），数据文件： - 划分：测试集（test），路径：high_school_us_history/test/*.parquet - 划分：验证集（validation），路径：high_school_us_history/validation/*.parquet - 配置名称：高中世界历史（high_school_world_history），数据文件： - 划分：测试集（test），路径：high_school_world_history/test/*.parquet - 划分：验证集（validation），路径：high_school_world_history/validation/*.parquet - 配置名称：人类衰老学（human_aging），数据文件： - 划分：测试集（test），路径：human_aging/test/*.parquet - 划分：验证集（validation），路径：human_aging/validation/*.parquet - 配置名称：人类性学（human_sexuality），数据文件： - 划分：测试集（test），路径：human_sexuality/test/*.parquet - 划分：验证集（validation），路径：human_sexuality/validation/*.parquet - 配置名称：国际法（international_law），数据文件： - 划分：测试集（test），路径：international_law/test/*.parquet - 划分：验证集（validation），路径：international_law/validation/*.parquet - 配置名称：法理学（jurisprudence），数据文件： - 划分：测试集（test），路径：jurisprudence/test/*.parquet - 划分：验证集（validation），路径：jurisprudence/validation/*.parquet - 配置名称：逻辑谬误（logical_fallacies），数据文件： - 划分：测试集（test），路径：logical_fallacies/test/*.parquet - 划分：验证集（validation），路径：logical_fallacies/validation/*.parquet - 配置名称：机器学习（machine_learning），数据文件： - 划分：测试集（test），路径：machine_learning/test/*.parquet - 划分：验证集（validation），路径：machine_learning/validation/*.parquet - 配置名称：管理学（management），数据文件： - 划分：测试集（test），路径：management/test/*.parquet - 划分：验证集（validation），路径：management/validation/*.parquet - 配置名称：市场营销学（marketing），数据文件： - 划分：测试集（test），路径：marketing/test/*.parquet - 划分：验证集（validation），路径：marketing/validation/*.parquet - 配置名称：医学遗传学（medical_genetics），数据文件： - 划分：测试集（test），路径：medical_genetics/test/*.parquet - 划分：验证集（validation），路径：medical_genetics/validation/*.parquet - 配置名称：综合门类（miscellaneous），数据文件： - 划分：测试集（test），路径：miscellaneous/test/*.parquet - 划分：验证集（validation），路径：miscellaneous/validation/*.parquet - 配置名称：道德争端（moral_disputes），数据文件： - 划分：测试集（test），路径：moral_disputes/test/*.parquet - 划分：验证集（validation），路径：moral_disputes/validation/*.parquet - 配置名称：道德情境（moral_scenarios），数据文件： - 划分：测试集（test），路径：moral_scenarios/test/*.parquet - 划分：验证集（validation），路径：moral_scenarios/validation/*.parquet - 配置名称：营养学（nutrition），数据文件： - 划分：测试集（test），路径：nutrition/test/*.parquet - 划分：验证集（validation），路径：nutrition/validation/*.parquet - 配置名称：哲学（philosophy），数据文件： - 划分：测试集（test），路径：philosophy/test/*.parquet - 划分：验证集（validation），路径：philosophy/validation/*.parquet - 配置名称：史前史（prehistory），数据文件： - 划分：测试集（test），路径：prehistory/test/*.parquet - 划分：验证集（validation），路径：prehistory/validation/*.parquet - 配置名称：专业会计学（professional_accounting），数据文件： - 划分：测试集（test），路径：professional_accounting/test/*.parquet - 划分：验证集（validation），路径：professional_accounting/validation/*.parquet - 配置名称：专业法学（professional_law），数据文件： - 划分：测试集（test），路径：professional_law/test/*.parquet - 划分：验证集（validation），路径：professional_law/validation/*.parquet - 配置名称：专业医学（professional_medicine），数据文件： - 划分：测试集（test），路径：professional_medicine/test/*.parquet - 划分：验证集（validation），路径：professional_medicine/validation/*.parquet - 配置名称：专业心理学（professional_psychology），数据文件： - 划分：测试集（test），路径：professional_psychology/test/*.parquet - 划分：验证集（validation），路径：professional_psychology/validation/*.parquet - 配置名称：公共关系学（public_relations），数据文件： - 划分：测试集（test），路径：public_relations/test/*.parquet - 划分：验证集（validation），路径：public_relations/validation/*.parquet - 配置名称：安全研究（security_studies），数据文件： - 划分：测试集（test），路径：security_studies/test/*.parquet - 划分：验证集（validation），路径：security_studies/validation/*.parquet - 配置名称：社会学（sociology），数据文件： - 划分：测试集（test），路径：sociology/test/*.parquet - 划分：验证集（validation），路径：sociology/validation/*.parquet - 配置名称：美国外交政策（us_foreign_policy），数据文件： - 划分：测试集（test），路径：us_foreign_policy/test/*.parquet - 划分：验证集（validation），路径：us_foreign_policy/validation/*.parquet - 配置名称：病毒学（virology），数据文件： - 划分：测试集（test），路径：virology/test/*.parquet - 划分：验证集（validation），路径：virology/validation/*.parquet - 配置名称：世界宗教（world_religions），数据文件： - 划分：测试集（test），路径：world_religions/test/*.parquet - 划分：验证集（validation），路径：world_religions/validation/*.parquet 本数据集为无脚本（scriptless）数据集，每个学科对应一个独立子集；数据集划分统一为验证集（validation）与测试集（test）。数据列包含：`question_<lang>`、`choices_<lang>`、`answer`（整数索引值）。