HAERAE-HUB/HAE_RAE_BENCH_1.0

HAE_RAE_BENCH 1.0是一个包含1,538个实例的基准测试，涵盖了6个任务：标准命名、外来词、罕见词、常识、历史和阅读理解。每个任务都有多个选择题，涉及韩语标准命名、外来词、罕见词、韩国文化知识、韩国历史以及韩国语言能力测试（KLAT）的阅读理解。数据集旨在评估模型在这些任务上的表现。

原始信息汇总

数据集概述

Task	Instances	Version	Explanation
standard_nomenclature	153	v1.0	Multiple-choice questions about Korean standard nomenclatures from NIKL.
loan_word	169	v1.0	Multiple-choice questions about Korean loan words from NIKL.
rare_word	405	v1.0	Multiple-choice questions about rare Korean words from NIKL.
general_knowledge	176	v1.0	Multiple-choice questions on Korean cultural knowledge.
history	188	v1.0	Multiple-choice questions on Korean history.
reading_comprehension	447	v1.0	Multiple-choice questions on Korean reading comprehension from the Korean Language Ability Test (KLAT).
Total	1538

数据集配置

• General Knowledge

  • 数据文件:
    • 分割: test
    • 路径: data/HAERAE-Bench-v1-KGK.csv

• History

  • 数据文件:
    • 分割: test
    • 路径: data/HAERAE-Bench-v1-HI.csv

• Loan Words

  • 数据文件:
    • 分割: test
    • 路径: data/HAERAE-Bench-v1-LW.csv

• Reading Comprehension

  • 数据文件:
    • 分割: test
    • 路径: data/HAERAE-Bench-v1-RC.csv

• Rare Words

  • 数据文件:
    • 分割: test
    • 路径: data/HAERAE-Bench-v1-RW.csv

• Standard Nomenclature

  • 数据文件:
    • 分割: test
    • 路径: data/HAERAE-Bench-v1-SN.csv