maywell/LogicKor

LogicKor是一个用于评估韩国语语言模型在多个领域思考能力的多轮基准测试数据集。该数据集包含6个类别（推理、数学、写作、编码、理解、语法）的42个多轮提示，旨在通过LLM-as-a-judge方式测量模型在不同领域的表现。每个类别都有具体的描述，例如推理涉及逻辑思维和问题解决，数学涉及数学概念和计算等。

许可证：CC-BY-SA-4.0

# **LogicKor（韩语语言模型多领域思维能力基准）**

## 概述
LogicKor是为评估韩语大语言模型（Large Language Model，LLM）在多领域的思维能力而构建的大语言模型作为评判者（LLM-as-a-judge）模式的多轮基准数据集。本数据集共包含42条多轮提示，涵盖推理、数学、写作、编程、理解、语法六大类别。
推理与评估代码请参考[StableFluffy/LogicKor](https://github.com/StableFluffy/LogicKor) 仓库。

## 各分类详细信息
1. 推理（Reasoning）：逻辑思维、问题解决
2. 数学（Math）：数学概念、计算任务
3. 写作（Writing）：语句连贯性、创造力
4. 编程（Coding）：编程知识、功能实现
5. 理解（Understanding）：文本理解、信息提取、指令遵循
6. 语法（Grammar）：韩文拼写规范、标准发音规则

### 联系方式
- [Discord服务器链接](https://discord.gg/MrBt3PXdXc)

### 引用格式

@article{logickor,
title={LogicKor},
doi={doi:10.57967/hf/2440}
author={Jeonghwan Park},
year={2024},
url={https://github.com/instructkr/LogicKor}
}

原始信息汇总

LogicKor 데이터셋 개요

데이터셋 설명

LogicKor는 한국어 언어모델의 다양한 분야에서의 사고력을 측정하기 위한 LLM-as-a-judge 방식의 멀티턴 벤치마크 데이터셋입니다. 이 데이터셋은 총 42개의 멀티턴 프롬프트로 구성되어 있으며, 다음과 같은 6가지 카테고리를 포함합니다.

1. 추론 (Reasoning) - 논리적 사고, 문제 해결
2. 수학 (Math) - 수학적 개념, 계산
3. 글쓰기 (Writing) - 문장간의 호응, 창의력
4. 코딩 (Coding) - 코딩 지식, 기능 구현
5. 이해 (Understanding) - 지문 이해, 정보 추출, 지시 이행
6. 문법 (Grammar) - 한글 맞춤법, 표준 발음법

라이센스

이 데이터셋은 CC-BY-SA-4.0 라이센스로 제공됩니다.

참고 문헌

@article{logickor, title={LogicKor}, doi={doi:10.57967/hf/2440}, author={Jeonghwan Park}, year={2024}, url={https://github.com/instructkr/LogicKor} }