nlp-waseda/JMMLU_CC-BY-SA

JMMLU是一个四选一问题集，用于评估大型语言模型在日语环境下的表现。数据集包含两部分：一部分是从MMLU数据集中翻译成日语的问题，另一部分是基于日本独特文化背景的问题。翻译问题经过机器翻译和人工校对，确保其流畅性和文化一致性。日本问题则由日本教师手动创建，涉及学校科目如日本公民和历史。数据集格式与MMLU相同，包含问题、四个选项和答案。数据集共包含7,097个问题，涵盖53个任务（科目）。

原始信息汇总

JMMLU

日本大规模多任务语言理解基准（Japanese Massive Multitask Language Understanding Benchmark）

JMMLU 是一个四选一问题集，包含部分 MMLU 问题的日文翻译（翻译问题）和基于独特日本文化背景的问题（日本问题）。该数据集旨在评估大型语言模型在日语中的性能。

对于翻译问题，从 MMLU 的 57 个任务（科目）中最多选取了 150 个问题，首先通过机器翻译成日文，然后由翻译人员检查并移除难以翻译、不相关或与日本文化不一致的问题和任务。剩余的问题经过修改以确保流畅性。

日本问题基于学校科目，如日本公民和历史，由日本教师手动创建。

数据集格式与 MMLU 相同：

问题, 选项A, 选项B, 选项C, 选项D, 答案

JMMLU 包含 7,097 个问题，涉及以下 53 个任务（科目）：

日本任务名称	英文任务名称	问题数量
専門医学	professional_medicine	150
専門心理学	professional_psychology	150
専門会計	professional_accounting	150
哲学	philosophy	150
雑学	miscellaneous	150
医学遺伝学	medical_genetics	99
形式論理	formal_logic	125
先史学	prehistory	150
天文学	astronomy	148
世界宗教	world_religions	147
世界事実	global_facts	97
世界史	world_history	150
社会学	sociology	150
栄養学	nutrition	149
日本史	japanese_history	150
人間の老化	human_aging	150
論理学	logical_fallacies	150
倫理的議論	moral_disputes	148
臨床知識	clinical_knowledge	150
経営学	management	102
解剖学	anatomy	132
計量経済学	econometrics	113
機械学習	machine_learning	111
国際法	international_law	120
公共関係	public_relations	109
高校心理学	high_school_psychology	150
高校物理	high_school_physics	150
高校統計学	high_school_statistics	150
高校数学	high_school_mathematics	150
高校生物学	high_school_biology	148
高校情報科学	high_school_computer_science	98
高校化学	high_school_chemistry	149
高校地理	high_school_geography	150
高校ヨーロッパ史	high_school_european_history	150
高校ミクロ経済学	high_school_microeconomics	149
高校マクロ経済学	high_school_macroeconomics	148
概念物理学	conceptual_physics	150
法理学	jurisprudence	107
電気工学	electrical_engineering	144
大学医学	college_medicine	150
大学物理	college_physics	100
大学数学	college_mathematics	99
大学生物学	college_biology	143
大学化学	college_chemistry	99
大学コンピュータ科学	college_computer_science	99
初等数学	elementary_mathematics	150
抽象代数	abstract_algebra	99
マーケティング	marketing	150
ビジネス倫理	business_ethics	86
セクシュアリティ	human_sexuality	130
セキュリティ研究	security_studies	150
コンピュータセキュリティ	computer_security	99
ウイルス学	virology	150

日本和世界历史的版权属于 STEP 公司。禁止除语言模型研究和评估之外的商业使用。

本作品采用 CC BY-SA 4.0 许可。