KoNET: Korean National Education Test

韩国国家教育考试，一个新的基准，用于评估使用韩国国家标准教育考试的多模态生成AI系统。

Korean National Educational Examination: A Novel Benchmark for Evaluating Multimodal Generative AI Systems Utilizing Korean National Standardized Educational Examination Data

原始信息汇总

KoNET数据集概述

数据集简介

• 名称：KoNET (Korean National Education Test)
• 用途：评估多模态生成式AI系统在韩国国家教育考试中的表现
• 特点：
  • 包含四个教育级别的考试：小学、初中、高中和大学
  • 以严格的考试标准和多样化题目著称
  • 支持跨教育级别的AI性能综合分析

数据集内容

• 数据量：2,377道题目
• 处理过程：
  • 下载文件：72个
  • PDF转图像：100个
  • 提取题目图像：2,377个

评估指南

• 提交文件：
  • 格式：JSON
  • 示例文件：submission_test.json
• 成本估算：
  • gpt-4o-mini-2024-07-18模型：约$0.18（2,377次响应）
  • 其他模型对比：
    • gpt-4o-2024-08-06：约$3.04
    • o1-2024-12-17：约$18.26
• 注意事项：
  • 结果可能因API参数（如temperature、top_p、seed等）而异
  • "Listening"部分题目将自动标记为正确

技术细节

• Python版本要求：≥3.9
• 依赖安装： bash git clone https://github.com/naver-ai/konet.git cd KoNET pip install -r requirements.txt

引用方式

bibtex @misc{park2025evaluatingmultimodalgenerativeai, title={Evaluating Multimodal Generative AI with Korean Educational Standards}, author={Sanghee Park and Geewook Kim}, year={2025}, eprint={2502.15422}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2502.15422}, }

许可证

• 类型：GNU Affero General Public License
• 版权：NAVER Cloud Corp. (2025-present)

搜集汇总

数据集介绍

构建方式

KoNET数据集的构建以韩国国家级教育考试为蓝本，涵盖小学、初中、高中及大学四个不同教育阶段的考试内容，其构建方式涉及对教育测试题目的严谨筛选和分类，确保每一层级的教育测试题目均符合相应教育阶段的知识水平和难度要求，从而为多模态生成AI系统的评估提供了全面且具有挑战性的基准。

特点

该数据集显著的特点在于，其不仅包含了传统的文本问题，还融合了视觉问题，使得评估可以全面覆盖多模态生成AI系统的能力。此外，数据集中的题目来源于韩国国家级教育考试，具有高度的权威性和标准性，使得评估结果更具参考价值。

使用方法

使用KoNET数据集时，首先需要安装Python环境（版本需大于等于3.9），接着通过Git克隆数据集的仓库，安装必要的依赖。数据集的生成和评估都提供了相应的Python脚本接口，用户可以根据自己的需求调用这些接口来生成数据集或评估AI系统的表现。在评估时，用户需要按照指定的格式准备提交文件，并根据实际情况配置API密钥等参数。

背景与挑战

背景概述

KoNET: Korean National Education Test数据集，简称KoNET，是一项专为评估多模态生成式人工智能系统而设计的新基准测试。该数据集由韩国国家级教育考试构成，涵盖小学、初中、高中及大学四个级别的考试，以其严谨的考核标准和丰富多样的题型，为全面评估AI在不同教育层次的表现提供了可能。该数据集由Sanghee Park和Geewook Kim共同研发，并在NAACL 2025会议上发表相关论文，详细描述了研究方法及实验结果分析。

当前挑战

该数据集在研究领域中解决了如何使用韩国教育标准评估多模态生成式AI的问题。构建过程中，研究团队面临的挑战包括对教育考试内容的准确抽取、多模态数据的生成以及评估指标的设定，以确保评估结果的公正性和准确性。此外，数据集的构建还需考虑成本效益，例如API调用成本及结果的可变性，这对模型的实际应用提出了更高的要求。

常用场景

经典使用场景

在人工智能领域，尤其是多模态生成AI系统的评估，KoNET数据集提供了一种新颖的基准。该数据集利用韩国国家教育考试，涵盖了从小学到大学四个不同教育层次，其严格的考试标准和多样化的试题，使得KoNET成为评估AI在不同教育水平表现的一种全面工具。

实际应用

在实际应用中，KoNET数据集可用于教育技术领域，帮助开发能够辅助学生学习和教师教学的多模态生成AI系统。此外，该数据集还能为AI在教育评估中的应用提供支持，推动教育评估技术的进步。

衍生相关工作

基于KoNET数据集，研究者可以开展一系列相关工作，如改进多模态生成AI模型的算法，开发新的评估指标，或者探索AI在教育评估中的更多应用场景。这些衍生工作将进一步推动AI在教育领域的融合与发展。