KLUE (Korean Language Understanding Evaluation)

“韩语理解评估（KLUE）基准是一系列用于评估韩语模型的自然语言理解能力的数据集。KLUE 由 8 个不同且具有代表性的任务组成，任何人都可以不受任何限制地访问。考虑到道德方面的考虑请注意，我们特意设计了注释指南，以获得所有数据集的明确注释。此外，我们建立了一个评估系统并为每项任务仔细选择评估指标，从而在韩语模型之间建立公平的比较，"The Korean Language Understanding Evaluation (KLUE) benchmark is a collection of datasets designed to assess the natural language understanding capabilities of Korean language models. KLUE consists of 8 distinct and representative tasks, and is freely accessible to anyone without any restrictions. Given ethical considerations, we have intentionally developed annotation guidelines to obtain clear annotations for all datasets. Moreover, we have established an evaluation system and carefully selected appropriate evaluation metrics for each task to enable fair comparisons across Korean language models.

搜集汇总

背景与挑战

背景概述

KLUE是一个韩语理解评估基准数据集，包含8个代表性任务，用于评估韩语模型的自然语言理解能力。该数据集在设计时注重道德考量，并建立了公平的评估系统，由多个机构于2021年发布。