jiyounglee0523/KorNAT

KorNAT（韩国国家对齐测试）是第一个通过社会价值观和常识知识来衡量大型语言模型（LLMs）在韩国的国家对齐情况的基准测试。社会价值观数据集包含4,000个样本，基于社会冲突报告和新闻文章提取的关键词构建，并经过两轮人工修订以确保质量。常识知识数据集包含6,000个样本，基于韩国的义务教育课程构建，并提供了详细的类别统计信息。数据集的发布计划包括在2024年6月推出公共排行榜，并在2024年12月通过AI hub发布完整数据。

原始信息汇总

数据集概述

数据集名称

• KorNAT (Korean National Alignment Test)

数据集目的

• 测量韩国的国家对齐度，包括社会价值观和常识知识。

数据集配置

• Social Values (Kor): 包含测试集数据文件，路径为 KorNAT/social-values-kor-test.csv。
• Social Values (Eng): 包含测试集数据文件，路径为 KorNAT/social-values-eng-test.csv。
• Common Knowledge (Kor): 包含测试集数据文件，路径为 KorNAT/common-knowledge-kor-test.csv。
• Common Knowledge (Eng): 包含测试集数据文件，路径为 KorNAT/common-knowledge-eng-test.csv。

许可协议

• cc-by-nc-2.0

任务类别

• 多选题

语言

• 韩语 (ko)
• 英语 (en)

标签

• 国家对齐

大小分类

• 10<n<12

数据集详细信息

社会价值数据集

• 样本数量: 4,000
• 数据来源: 基于每月社会冲突报告和过去12个月新闻文章提取的关键词。
• 质量保证: 经过两轮人工修订。
• 标签分布: 通过调查获得，平均每题219份韩国公民的回应。

常识知识数据集

• 样本数量: 6,000
• 数据来源: 基于韩国的义务教育课程。

类别统计

类别	样本数量
韩国	858
社会研究	858
世界地理	143
法律与政治	143
经济学	143
世界历史	143
社会与文化	143
韩国历史	857
常识	858
数学	855
科学	858
地球科学	215
生物学	215
物理学	215
化学	213
英语	856
总计	6,000