KRAFTON/KVoiceBench

KVoiceBench是一个用于评估语音模型的韩语口语问答基准数据集，基于英文基准VoiceBench构建。由于目前缺乏针对韩语口语问答能力的现有评估基准，该数据集通过将VoiceBench转换为韩语而创建。它包含9个子集，总计7,306个样本，覆盖多种任务类型，如多项选择问答、二元推理、短答案问答、开放性问题、指令遵循和安全性评估。数据集特征包括唯一标识符、合成的韩语语音音频、音频的韩文文本转录、参考答案（对于开放性和安全性子集为空字符串）以及评估的能力类别。该数据集旨在促进韩语语音语言模型在口语问答任务上的性能评估。

As there is no existing benchmark for evaluating Korean spoken question answering capabilities, we construct KVoiceBench by building upon the English benchmark VoiceBench.

搜集汇总

数据集介绍

构建方式

在当前缺乏面向韩语语音问答评估专用基准的背景下，KVoiceBench应运而生。该数据集严格遵循论文提出的SpokenQA迁移框架，将英文基准VoiceBench系统性地转换至韩语领域。具体而言，首先通过大语言模型担任评审者与元评审者，对具有确定性答案的源样本进行审核，确认并修正标签错误，同时剔除无效案例。随后，采用融合人类与智能体协同的规则手册进行超翻译处理。完成超翻译的文件再经由独立的人类-智能体归一化循环审核，系统梳理并整理出可能的语音合成失败案例，形成归一化规则手册，进而生成适宜语音合成的韩语文本。最后，借助Qwen3-TTS模型并引入韩语参考语音，结合基于词错误率的再合成校验，完成语音合成，从而构建出高质量的韩语语音问答数据集。

特点

KVoiceBench数据集包含7,306个样本，横跨9个功能各异的子集，展现出多元化的评估视角。其子集覆盖了多种任务类型，包括KOpenBookQA与KMMSU的多项选择问答、KBBH的二元推理、KSD-QA的简短回答、KAlpacaEval与KCommonEval的开放式生成、KWildVoice的实际场景问答、KIFEval的指令遵循以及KAdvBench的安全对齐评估。每条样本均包含唯一标识符、合成的韩语语音音频、对应的文本转录、参考答案以及所评估的能力类别标签。对于开放式生成与安全类子集，参考答案字段留空，以适配不同评估范式的需求。这种精细化的子集划分与丰富的特征维度，使其能够全面评测语音语言模型在韩语环境下的多维度表现。

使用方法

用户可通过Hugging Face Datasets库便捷地加载KVoiceBench。加载特定子集时，只需调用load_dataset函数并指定配置名称，如使用'bbh-test'即可获取BBH测试集，每个样本均以字典形式返回，包含音频数组、文本转录及参考答案等字段。若需同时加载所有子集，可遍历预定义的子集名称列表，分别加载后按需使用。该数据集已集成至官方评估仓库Raon-Eval中，用户可参照其中提供的评测代码，对语音模型进行标准化评估，涵盖从多项选择到开放式生成的多种任务，从而在统一的框架下便捷地比较模型在韩语语音问答领域的综合能力。

背景与挑战

背景概述

KVoiceBench是由KRAFTON AI研究团队于2026年创建的韩语口语问答基准数据集，旨在填补韩语语音语言模型（SpeechLM）评估领域的空白。随着语音交互技术的迅猛发展，现有的评测基准多集中于英语，而韩语场景下缺乏系统性、多能力的评估工具。该数据集基于VoiceBench框架，通过人工与智能体协同的翻译与审核流程，构建了涵盖7,306个样本的9个子集，覆盖选择题问答、推理、开放式对话、指令遵循及安全性等多个能力维度。其发表论文已在arXiv预印本平台公开，为韩语语音语言模型的研究提供了标准化评估基准，对推动多语言语音AI的公平评测具有重要影响力。

当前挑战

KVoiceBench主要应对两大层面的挑战。首先在领域问题层面，韩语语音语言模型面临缺乏高质量、多维度口语问答评测基准的困境，现有数据集或为纯文本，或仅支持单一任务类型，难以全面评估模型在真实语音交互中的理解、推理与生成能力。其次在构建过程中，团队需克服语言迁移中的跨模态一致性难题，通过多层LLM审核与人工规则书校正源样本，确保翻译后的语音内容在语义和语用上忠实于原意；同时，语音合成环节面临口音、韵律和发音错误等挑战，必须借助WER（词错误率）循环检测与重合成策略，最终产出自然流畅的韩语语音数据。

常用场景

经典使用场景

在语音语言模型（SpeechLM）的评估体系中，KVoiceBench作为首个面向韩语的语音问答基准数据集，其经典使用场景聚焦于评测模型在多轮对话、知识推理与指令遵循等核心能力上的表现。该数据集涵盖9个子集，共计7,306条样本，包括多项选择问答（如KOpenBookQA、KMMSU）、二值推理（KBBH）、短答案问答（KSD-QA）、开放式生成（KAlpacaEval、KCommonEval、KWildVoice）、指令遵循（KIFEval）及安全对齐（KAdvBench）等任务类型，为全面诊断语音模型的语义理解、逻辑推理与安全性提供了标准化测试平台。

实际应用

在实际产业应用中，KVoiceBench可以被用作韩语智能语音助手、车载语音系统及语音搜索服务的核心验证工具。例如，在开发面向韩国市场的语音交互产品时，工程师可以利用该数据集检测模型对韩语口音、语速及多轮语境理解的鲁棒性。此外，其包含的安全对齐子集（如KAdvBench）能够帮助企业评估语音模型在面对敏感话题或对抗性输入时的反应，从而在合规审查与用户信任建设方面发挥关键作用，降低部署风险。

衍生相关工作

KVoiceBench的构建方法论直接衍生自VoiceBench的SpokenQA迁移框架，同时其配套的评估套件Raon-Eval为后续研究提供了可复现的评测基础设施。相关工作还包括同系列中的KOpenAudioBench与KMMAU，三者共同构成了韩语语音语言模型的评测体系。此外，该数据集中采用的超翻译与人类-智能体归一化流程，启发了后续研究在多语言语音基准构建中如何平衡自动化效率与人工精度的探索，并催生了一批聚焦于低资源语言语音理解能力迁移的学术工作。