HAERAE-HUB/K2-Feedback

---
dataset_info:
features:
- name: instruction
dtype: string
- name: criteria
dtype: string
- name: score1
dtype: string
- name: score2
dtype: string
- name: score3
dtype: string
- name: score4
dtype: string
- name: score5
dtype: string
- name: reference
dtype: string
- name: category
dtype: string
- name: response
dtype: string
- name: feedback
dtype: string
- name: score
dtype: int64
- name: source
dtype: string
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 667967023
num_examples: 99655
download_size: 327826358
dataset_size: 667967023
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

Research Paper coming soon!

# K^2-Feedback

K^2-Feedback is a dataset crafted to enhance fine-grained evaluation capabilities in Korean language models.
Building upon the [Feedback-Collection](https://huggingface.co/datasets/kaist-ai/Feedback-Collection), K^2-Feedback incorporates instructions specific to Korean culture and linguistics.

# Dataset Overview
**K^2-Feedback** includes 100,000 samples divided into two distinct subsets:

1. **Translated Samples (50,000 entries)**: This subset consists of samples directly translated from the Feedback-Collection using the [Seagull-13B translation model](https://huggingface.co/kuotient/Seagull-13b-translation).
Post translation, these samples undergo heuristic filtering (length checks and language detection), model-based filtering (cosine similarity), and semantic deduplication.
To ensure cultural relevance and avoid Western bias, we leverage GPT-3.5-Turbo to remove instances related to Western culture.

4. **Original Samples (50,000 entries)**: TThe original samples are a collection of instructions deeply rooted in Korean culture. Initially, we collect seed instructions that reflect Korean culture from HAERAE-Bench, CLIcK, and KMMLU. These instructions serve as in-context exemplars to prompt GPT-4 in generating new instructions.

### Ethical Considerations and Usage Recommendations
While constructing K^2-Feedback from existing benchmarks raises potential concerns of contamination, it is important to clarify that the primary aim of this dataset is not to train models to excel on these benchmarks but to function as a robust evaluator.
Thus, including this dataset into training may result in skewed performance on benchmarks from which seed questions are derived. We strongly advise against using K^2-Feedback for direct training purposes to prevent biases in model performance.

### Point of Contact
For any questions contact us via the following email:)
```
[e-mail]
```

dataset_info:
数据集信息:
特征字段:
- 名称: instruction（指令）, 数据类型: string（字符串类型）
- 名称: criteria（评判标准）, 数据类型: string（字符串类型）
- 名称: score1（评分项1）, 数据类型: string（字符串类型）
- 名称: score2（评分项2）, 数据类型: string（字符串类型）
- 名称: score3（评分项3）, 数据类型: string（字符串类型）
- 名称: score4（评分项4）, 数据类型: string（字符串类型）
- 名称: score5（评分项5）, 数据类型: string（字符串类型）
- 名称: reference（参考文本）, 数据类型: string（字符串类型）
- 名称: category（类别）, 数据类型: string（字符串类型）
- 名称: response（模型回复）, 数据类型: string（字符串类型）
- 名称: feedback（反馈信息）, 数据类型: string（字符串类型）
- 名称: score（总评分）, 数据类型: int64（64位整数类型）
- 名称: source（数据来源）, 数据类型: string（字符串类型）
- 名称: __index_level_0__, 数据类型: int64（64位整数类型）
数据划分:
- 名称: train（训练集）, 字节占用: 667967023, 样本数量: 99655
下载大小: 327826358 字节
数据集总大小: 667967023 字节
配置项:
- 配置名称: default（默认配置）, 数据文件:
- 划分集: train（训练集）, 路径: data/train-*
---
研究论文即将上线！

# K²-Feedback

K²-Feedback是一款专为提升韩语大语言模型（Large Language Model, LLM）细粒度评估能力而打造的数据集。本数据集基于[Feedback-Collection](https://huggingface.co/datasets/kaist-ai/Feedback-Collection)构建，融入了贴合韩国文化与语言学特性的指令样本。

# 数据集概览
**K²-Feedback** 共包含10万条样本，分为两个独立子集：

1. **翻译样本集（5万条）**：该子集的样本均通过[Seagull-13B翻译模型](https://huggingface.co/kuotient/Seagull-13b-translation)直接从Feedback-Collection数据集翻译得到。完成翻译后，会对这些样本执行启发式过滤（长度校验与语言检测）、基于模型的过滤（余弦相似度校验）以及语义去重操作。为确保文化适配性并规避西方视角偏差，我们借助GPT-3.5-Turbo移除了所有涉及西方文化的样本。

2. **原创样本集（5万条）**：该子集的样本均为深度根植于韩国文化的指令集。首先，我们从HAERAE-Bench、CLICcK以及KMMLU中采集了体现韩国文化的种子指令；随后以这些指令作为上下文示例，调用GPT-4生成全新的指令样本。

### 伦理考量与使用建议
尽管基于现有基准数据集构建K²-Feedback可能引发数据污染的潜在顾虑，但需明确说明：本数据集的核心目标并非让模型在衍生基准测试中取得优异表现，而是作为一款可靠的评估工具。因此，若将该数据集用于模型训练，可能会导致模型在种子指令来源的基准测试中出现性能偏差。我们强烈建议不要将K²-Feedback直接用于模型训练，以避免模型性能出现偏见。

### 联系方式
如有任何疑问，请通过以下邮箱联系我们：

[e-mail]

原始信息汇总

K^2-Feedback 数据集概述

数据集特征

• instruction: 数据类型为字符串。
• criteria: 数据类型为字符串。
• score1: 数据类型为字符串。
• score2: 数据类型为字符串。
• score3: 数据类型为字符串。
• score4: 数据类型为字符串。
• score5: 数据类型为字符串。
• reference: 数据类型为字符串。
• category: 数据类型为字符串。
• response: 数据类型为字符串。
• feedback: 数据类型为字符串。
• score: 数据类型为整数。
• source: 数据类型为字符串。
• index_level_0: 数据类型为整数。

数据集划分

• train: 包含99,655个样本，数据大小为667,967,023字节。

数据集大小

• 下载大小: 327,826,358字节
• 数据集大小: 667,967,023字节

数据集配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*

数据集内容

• Translated Samples: 50,000个样本，翻译自Feedback-Collection，并经过多重过滤和去重处理。
• Original Samples: 50,000个样本，源自韩国文化的种子指令，通过GPT-4生成新指令。

使用建议

• 不建议使用K^2-Feedback数据集进行直接训练，以避免模型性能的偏差。

搜集汇总

数据集介绍

构建方式

K^2-Feedback数据集旨在提升韩语语言模型的细粒度评估能力，其构建融合了翻译与原创两条路径。翻译子集包含五万条样本，源自Feedback-Collection，经Seagull-13B翻译模型转换后，依次执行启发式过滤（长度检查与语言检测）、基于模型的余弦相似度筛选及语义去重，并借助GPT-3.5-Turbo剔除西方文化相关条目以保障文化适配性。原创子集同样包含五万条样本，其指令深植于韩国文化，种子指令从HAERAE-Bench、CLIcK和KMMLU基准中采集，作为上下文示例引导GPT-4生成新指令。

特点

该数据集拥有十万条样本，涵盖十四个字段，包括指令、评估标准、多维度评分、参考答案、类别、模型响应、反馈及总分等，结构丰富且粒度精细。其独特之处在于双轨设计：翻译子集确保跨语言一致性，原创子集则聚焦韩国本土文化语境。数据集通过多阶段过滤与去重策略，有效降低噪声与冗余，同时明确标注来源与类别，便于细粒度分析。此外，研究团队警示其可能引发基准污染，建议仅用于评估而非直接训练。

使用方法

数据集以HuggingFace格式发布，包含单一训练分割共九万九千余条样本，总大小约668兆字节。用户可通过HuggingFace Datasets库直接加载，例如使用`load_dataset`函数指定配置名`default`。数据字段涵盖指令、评分、反馈等，适用于训练奖励模型或评估韩语模型的生成质量。需注意，由于种子指令源自现有基准，直接用于训练可能导致模型在相关基准上产生偏差，建议研究者将其作为评估工具，结合其他数据集进行交叉验证，以提升评估的鲁棒性与文化敏感性。

背景与挑战

背景概述

在大型语言模型快速演进的浪潮中，针对非英语语言特别是韩语的细粒度评估能力成为亟待突破的瓶颈。HAERAE-HUB/K2-Feedback数据集由韩国延世大学等机构的研究人员于近期创建，旨在弥补韩语模型在文化敏感性与语言特异性评估上的空白。该数据集以Feedback-Collection为基础，通过翻译与原创两条路径构建了十万条高质量样本，核心研究问题聚焦于如何使评估体系既能捕捉语言细节又能反映韩国本土文化语境。其影响力在于为韩语自然语言处理领域提供了一个兼具深度与广度的评估基准，推动了多语言模型评估从单一准确性向文化适应性的范式转变。

当前挑战

K2-Feedback数据集面临的核心挑战在于双重维度的复杂性。从领域问题来看，韩语模型评估需同时应对语言形态的细腻变化（如敬语体系）与文化背景的深层嵌入，这对评分标准的普适性与特异性提出了极高要求，传统基于英语的评估框架难以直接迁移。在构建过程中，翻译子集需克服机器翻译带来的语义失真与西方文化偏见，通过启发式过滤、模型余弦相似度检测及语义去重等手段确保质量，但GPT-3.5-Turbo的文化过滤仍可能引入新的偏差。原创子集则面临种子指令的基准污染风险，从HAERAE-Bench等现有基准中提取的样本若用于训练将导致评估结果失真，因此该数据集被明确建议仅作为评估工具而非训练数据，这一限制本身构成了应用层面的挑战。

常用场景

经典使用场景

在韩语大语言模型的细粒度评估领域，K^2-Feedback数据集扮演着不可或缺的角色。该数据集由10万条精心构建的样本构成，分为翻译样本和原创样本两大子集，旨在提供涵盖韩国文化与语言学特质的指令反馈数据。研究者可借此对模型在韩语语境下的输出质量进行多维度评分，包括相关性、准确性、流畅性等指标，从而实现对模型能力的精细化诊断与对比。

实际应用

在实际应用层面，K^2-Feedback可用于韩语聊天机器人、智能客服、翻译系统等产品的质量监控与迭代优化。企业可借助该数据集对内部模型进行细粒度反馈分析，识别其在韩国文化场景下的表现短板，如礼仪用语、方言处理或历史典故理解等。此外，该数据集还可作为教育评估工具，辅助开发面向韩语学习者的自适应语言模型。

衍生相关工作

K^2-Feedback的发布催生了一系列衍生研究工作。研究者基于其细粒度评分机制，开发了韩语专用的奖励模型训练方法，用于强化学习中的偏好对齐。同时，该数据集被用于构建韩语指令微调数据的质量筛选管道，通过多维度评分自动过滤低质量样本。此外，围绕其原创样本生成流程，衍生出基于GPT-4的韩语文化指令自动扩展技术，为低资源语言的数据增强提供了新范式。