datumo/KorNAT

KorNAT（韩国国家对齐测试）是第一个通过社会价值观和常识知识来衡量大型语言模型（LLMs）在韩国的国家对齐情况的基准测试。社会价值观数据集包含4,000个样本，基于社会冲突报告和新闻文章提取的关键词构建，并经过两轮人工修订以确保质量。常识知识数据集包含6,000个样本，基于韩国的义务教育课程构建。数据集的类别统计信息包括韩国语、社会科学、世界地理、法律与政治、经济学、世界历史、社会与文化、韩国历史、常识、数学、科学、地球科学、生物学、物理学、化学和英语等。数据集的发布计划包括2024年6月公开排行榜和2024年12月在AI hub上发布完整数据。

原始信息汇总

数据集概述

数据集名称

• KorNAT (Korean National Alignment Test)

数据集目的

• 测量韩国的国家对齐度，包括社会价值观和常识。

数据集组成部分

1. 社会价值数据集

   • 样本数量：4,000
   • 问题来源：关键词提取自每月社会冲突报告和过去12个月的新闻文章。
   • 质量保证：经过两轮人工修订。
   • 标签分布：通过调查6,174名韩国公民获得，平均每题219份回应。

2. 常识数据集

   • 样本数量：6,000
   • 问题基础：韩国的义务教育课程。

数据集详细分类统计

分类	样本数量
韩国	858
社会研究	858
世界地理	143
法律与政治	143
经济学	143
世界历史	143
社会与文化	143
韩国历史	857
常识	858
数学	855
科学	858
地球科学	215
生物学	215
物理学	215
化学	213
英语	856
总计	6,000

数据集文件

• 社会价值 (韩语)
  • 测试集路径：KorNAT/social-values-kor-test.csv
• 社会价值 (英语)
  • 测试集路径：KorNAT/social-values-eng-test.csv
• 常识 (韩语)
  • 测试集路径：KorNAT/common-knowledge-kor-test.csv
• 常识 (英语)
  • 测试集路径：KorNAT/common-knowledge-eng-test.csv

许可证

• cc-by-nc-2.0

任务类别

• 多项选择

语言

• 韩语 (ko)
• 英语 (en)

标签

• 国家对齐

数据集大小分类

• 10<n<12