didi0di/KoWoW

KoWoW数据集是基于WoW（Wizard of Wikipedia）的韩语翻译版本，主要用于文本生成任务。数据集包含多轮对话，共有22,311个完整对话和201,999个对话片段。所有知识和对话内容均为韩语。数据集的许可证为MIT，来源为AIRC-KETI。

原始信息汇总

数据集卡片 for KoWoW

数据集概述

WoW(Wiard of Wikipedia)를 한국어로 변역한 데이터입니다.

数据集描述

WoW(Wiard of Wikipedia)라는 지식 기반 대화 데이터를 한국어로 변역한 데이터입니다.
한 대화에 여러 개의 dialog가 묶음으로 구성되어 있으며, 전체 대화는 22,311건, 전체 dialog는 201,999개 입니다.
본 데이터셋은 Knowledge와 Utterance가 모두 한국어인 ko 버전만 가져온 데이터입니다.

• Language(s) (NLP): ko
• License: mit

数据集来源

• Repository: https://github.com/AIRC-KETI/kowow/tree/master

用途

源数据

WoW(Wiard of Wikipedia)

源数据生产者

• AIRC-KETI

搜集汇总

数据集介绍

构建方式

KoWoW数据集源自知识驱动型对话数据集WoW（Wizard of Wikipedia），由AIRC-KETI团队将其翻译为韩语构建而成。该数据集以多轮对话为核心组织形式，每个对话单元由若干条连续的dialog组成，共计包含22,311组完整对话和201,999条独立dialog。为确保语言一致性，仅保留知识与回复均为韩语的对话样本，形成了纯净的韩语版本。

特点

KoWoW数据集具备鲜明的多轮对话与知识驱动特性，每条对话均基于维基百科知识片段展开，模拟了信息检索与自然语言交互的深度融合场景。数据集规模介于十万至百万级别，覆盖广泛的话题领域，为韩语对话系统的训练提供了高质量、结构化的知识-回复配对样本。其多轮对话结构有助于模型学习上下文连贯性与知识引用能力。

使用方法

KoWoW数据集适用于文本生成任务，特别是基于知识的韩语多轮对话系统训练。使用者可直接通过HuggingFace接口加载数据集，并利用其预定义的dialog分组结构进行序列建模。推荐将完整对话作为输入序列，以知识片段作为上下文条件，训练模型生成连贯的回复。数据集采用MIT许可证，便于学术研究与商业应用中的灵活使用。

背景与挑战

背景概述

在自然语言处理领域，知识驱动的多轮对话系统一直是研究的热点与难点，其核心在于如何将结构化或非结构化的外部知识无缝融入对话生成过程，以提升回答的准确性与信息丰富度。KoWoW数据集由韩国AIRC-KETI研究机构于近年创建，旨在填补高质量韩语知识型对话资源的空白。该数据集基于著名的英文WoW（Wizard of Wikipedia）语料库，通过专业翻译与本地化处理，构建了包含22,311段多轮对话、总计201,999个话语的韩语版本。其核心研究问题聚焦于探索跨语言知识对话的迁移学习能力，以及验证韩语环境下基于维基百科知识的对话模型效果。自发布以来，KoWoW已成为韩语对话系统研究的重要基准，推动了该语言在开放域知识对话领域的进展。

当前挑战

KoWoW数据集所面临的挑战体现在多个层面。首先，在领域问题层面，知识型多轮对话本身需要模型在理解上下文的基础上，精准检索并融合外部知识，同时保持对话的自然流畅性，这对长程依赖建模与知识选择能力提出了极高要求。其次，在构建过程中，从英文WoW到韩语KoWoW的翻译并非简单直译，需要处理文化特定表达、术语一致性以及语法结构差异，确保翻译后的对话仍保留原始知识逻辑与交互意图。此外，数据集规模虽达数十万话语，但相对于英语同类资源仍显不足，可能限制深度学习模型的泛化能力，尤其在处理罕见实体或复杂知识推理时表现欠佳。这些挑战共同构成了当前KoWoW研究的主要瓶颈。

常用场景

经典使用场景

KoWoW数据集作为知识驱动型多轮对话的经典基准，其核心应用在于构建融合外部知识图谱的对话生成模型。该数据集将英文WoW（Wizard of Wikipedia）语料迁移至韩语场景，保留了对话轮次与知识段落的结构化对应关系，常用于训练对话系统在复杂知识检索与自然语言生成之间的协同能力。研究者可基于其22,311组对话与逾20万条语句，设计从知识选择到上下文连贯性评估的端到端流水线，尤其适用于验证基于Transformer架构的生成模型在跨语言知识融合场景下的鲁棒性。

衍生相关工作

KoWoW衍生出多项开创性研究，包括基于对比学习的知识选择器优化方案，通过负采样策略提升对话中相关知识片段的召回率；以及融合跨语言预训练模型（如mT5、KoBART）的端到端对话框架，探索知识图谱与生成器的联合微调范式。此外，后续工作针对其多轮对话结构提出了动态记忆网络，将历史轮次中的知识线索编码为隐式状态，有效缓解长对话中的知识遗忘问题。这些成果共同推动了多语言知识对话从单轮检索向动态推理的演进。

数据集最近研究

最新研究方向

KoWoW数据集作为韩语知识驱动多轮对话的前沿资源，将英文Wiki Wizard of Wikipedia对话语料迁移至韩语场景，填补了非英语语言在知识密集型对话系统研究中的空白。当前研究聚焦于利用该数据集训练能够融合外部知识的韩语对话模型，探索跨语言知识对齐与低资源语言生成能力的提升路径。随着多模态大语言模型和跨文化对话系统的兴起，KoWoW在推动韩语智能客服、教育辅助及信息检索类应用方面具有显著意义，其多轮对话结构和知识依赖特性为评估模型的事实一致性、上下文理解深度以及方言适应性提供了标准化基准。