KRAFTON/KOpenAudioBench

KOpenAudioBench是一个用于评估语音模型的韩语口语问答基准数据集，基于OpenAudioBench构建。由于缺乏现有的韩语口语问答评估基准，该数据集通过将OpenAudioBench转换为韩语来填补这一空白。构建过程遵循SpokenQA转移框架：首先通过LLM审核源样本，纠正标签错误并排除无效案例；然后使用超翻译和人类代理规则书进行韩语转换；接着通过人类代理规范化循环审核超翻译文件，组织可能的TTS失败案例，并生成适合语音的韩语文本；最后使用Qwen3-TTS合成韩语参考语音，并进行基于WER的重合成检查。数据集包含四个子集：KAlpacaEval（614个样本，开放型任务）、KLlamaQ（284个样本，短答案问答）、KTriviaQA（967个样本，短答案问答）和KWebQ（970个样本，短答案问答），总计2,835个样本。每个样本具有以下特征：id（唯一标识符）、audio（合成的韩语语音音频）、transcription（音频的韩语文本转录）、answer（参考答案，开放型子集为空字符串）和capability（评估的能力类别）。数据集用于自动语音识别和问答任务，支持韩语语言模型评估。

KOpenAudioBench is a Korean spoken question answering benchmark for evaluating speech models, built upon OpenAudioBench. As there is no existing benchmark for evaluating Korean spoken question answering capabilities, it is constructed by transferring OpenAudioBench into Korean. The construction process follows the SpokenQA transfer framework: source samples with deterministic answers are audited through an LLM reviewer/meta-reviewer process to correct label errors and exclude invalid cases; retained items are hypertranslated with a human-agent rulebook; a separate human-agent normalization loop audits the hypertranslated files, organizes likely TTS failure cases into a normalization rulebook, and produces speech-friendly Korean text; finally, Qwen3-TTS synthesis with Korean reference voices and WER-based resynthesis checks are applied. The dataset consists of 2,835 samples across four subsets: KAlpacaEval (614 samples, open-ended tasks), KLlamaQ (284 samples, short-answer QA), KTriviaQA (967 samples, short-answer QA), and KWebQ (970 samples, short-answer QA). Each sample includes features such as id (unique identifier), audio (synthesized Korean speech audio), transcription (Korean text transcription of the audio), answer (reference answer, empty string for open-ended subsets), and capability (evaluated capability category). It is used for automatic speech recognition and question-answering tasks, supporting Korean language model evaluation.

搜集汇总

数据集介绍

构建方式

KOpenAudioBench是专为评估韩语口语问答能力而构建的基准数据集，其设计继承了英语OpenAudioBench的框架。在构建过程中，首先通过由评审与元评审组成的大语言模型流程对原始样本进行审核，确保答案的确定性；确认后的标签错误被纠正，无效样本被剔除。通过审核的样本随后经由人类与智能体协同的超翻译流程，并借助规范化规则手册进行人工复审，整理出适合语音合成的韩语文本。最终，采用Qwen3-TTS模型结合韩语参考语音进行合成，并基于词错误率进行再合成检查，以保障语音质量。

特点

该数据集包含2,835个样本，涵盖四个子集：KAlpacaEval、KLlamaQ、KTriviaQA和KWebQ，分别对应开放式问答与短答案问答两种任务类型。每个样本均包含唯一标识符、合成的韩语语音音频、对应的韩语文本转写、参考答案（开放式子集为空字符串）以及评估能力类别等字段。数据集采用Apache 2.0许可协议发布，规模适中，为韩语语音模型的系统评测提供了多样化且结构化的测试资源。

使用方法

用户可通过Hugging Face Datasets库轻松加载KOpenAudioBench。加载特定子集时，只需使用load_dataset函数指定子集名称（如“trivia_qa”）并设置split为“test”即可获取样本。样本以字典形式返回，包含id、audio（含音频路径、数组及采样率24000）、transcription、answer及capability等字段。如需加载全部四个子集，可循环遍历子集列表并分别加载，便于进行全面的韩语语音问答能力评估。

背景与挑战

背景概述

KOpenAudioBench是由KRAFTON AI研究团队于2026年发布的韩语口语问答评测基准，旨在填补韩语语音模型缺乏系统评测体系的空白。该数据集基于OpenAudioBench的SpokenQA迁移框架构建，通过严谨的人类-大语言模型协同审核流程，将英文问答样本转化为高质量韩语口语形式。数据集包含2,835个样本，覆盖AlpacaEval、LlamaQA、TriviaQA和WebQuestions四个子集，分别对应开放式问答和短答案问答任务。作为首个专门针对韩语口语问答能力的标准化基准，KOpenAudioBench为评估语音语言模型在韩语环境下的理解与生成能力提供了关键工具，推动了多语言语音评测领域的发展。

当前挑战

KOpenAudioBench面临的核心挑战在于领域问题的复杂性：韩语口语问答任务要求模型同时攻克自动语音识别、口语理解和知识检索三大技术难关，非规范发音、连读现象与同音异义词的普遍存在对跨模态对齐构成了严峻考验。在构建过程中，团队遇到了多重方法论挑战：如何将英文确定性答案的样本有效迁移至韩语文化语境，如何通过人类-智能体协作机制剔除标签噪声并纠正错误，以及如何在TTS合成阶段通过回环检测与发音规则规范实现自然流畅的韩语口语输出。这些挑战的解决方案为后续多语言语音评测基准的研发提供了宝贵经验。

常用场景

经典使用场景

在语音语言模型（SpeechLM）研究的浪潮中，KOpenAudioBench作为首个面向韩语的口语问答基准数据集，填补了非英语语言评估体系的重要空白。它继承自英语OpenAudioBench的经典架构，通过精心设计的语音处理与翻译流程，构建了涵盖KAlpacaEval、KLlamaQ、KTriviaQA和KWebQ四个子集的2,835条样本。该数据集最核心的使用场景是对语音模型的韩语口语问答能力进行系统性评测，涵盖开放式回答与短答案问答两种任务类型，为研究人员提供了从语音识别到语义理解的全链路评估标准。

衍生相关工作

KOpenAudioBench的诞生催生了一系列相关研究工作。其依赖的论文《KVoiceBench, KOpenAudioBench, and KMMAU》系统提出了智能体驱动的韩语语音基准构建框架，为后续多语言语音基准的开发提供了方法论支撑。Raon-Eval评估工具的发布构建了从数据到评测的完整基础设施，而数据集构建中采用的超翻译与人类协作质量校验流程，已成为构建高质量非英语语音QA数据集的范式模板。此外，该工作激励了研究者将类似框架迁移至日语、越南语等低资源语言，形成了跨语言语音AI评估的新生态。

数据集最近研究

最新研究方向

在语音语言模型（SpeechLM）评估领域，KOpenAudioBench作为首个专注于韩语口语问答（SpokenQA）的基准测试集，填补了非英语语言语音理解能力评测的空白。该数据集通过跨语言迁移框架，将OpenAudioBench系统性地转化为韩语样本，并引入人类审校与智能体驱动的超翻译流程，确保了语音合成的自然性与答案可靠性。其四类子集覆盖了开放式问答与短答案抽取任务，为评估模型在韩语语音输入下的语义理解与推理能力提供了标准化测试平台。这一进展与多模态大模型在非英语场景下的扩展需求紧密相关，推动了语音对话系统在韩语社区的落地验证，同时为跨语种语音基准构建方法论贡献了可复现的实践范式。