KRAFTON/KMMAU

KMMAU是一个韩语多模态音频理解基准，用于评估语音模型在多样化音频理解任务上的性能。该数据集涵盖9个子集，包括年龄估计、性别识别、说话者数量检测、事实提取、一般计数、职业识别、主题总结、词频计数和词序验证。基准构建自三个韩语语音数据集：Seoul Corpus、KMSAV和KSS，总共包含2,204个样本。每个样本包含音频文件、相关问题、参考答案以及元数据（如原始数据集标识和音频时间戳）。KMMAU is a Korean multimodal audio understanding benchmark designed to evaluate the performance of speech models across a diverse range of audio understanding tasks. This dataset covers nine subsets, including age estimation, gender recognition, speaker count detection, fact extraction, general counting, occupation recognition, topic summarization, word frequency counting, and word order verification. The benchmark is built upon three Korean speech datasets: Seoul Corpus, KMSAV, and KSS, and contains a total of 2,204 samples. Each sample includes an audio file, relevant questions, reference answers, as well as metadata such as original dataset identifiers and audio timestamps.

搜集汇总

数据集介绍

构建方式

KMMAU数据集的构建以深度理解韩语音频为核心，基于Seoul Corpus、KMSAV和KSS三个韩语语音语料库及其元数据展开，而非简单翻译自英文音频内容。按照论文中的音频理解框架，针对不同能力维度设计问题：说话人年龄、性别及数量等声学相关任务直接利用元数据；词序与词频计数任务则基于转录文本；事实提取与话题总结借助大语言模型生成，并经过人工审核校验；通用计数与角色职业识别则依赖人工标注完成。整个流程确保了任务设置与韩语语音特性的紧密契合。

特点

该数据集以多维度音频理解评估为显著特色，涵盖年龄、性别、说话人数量、事实提取、通用计数、职业识别、话题总结、词频计数及词序验证共9个子集，总计2,204个测试样本。每个样本包含音频、问题及参考答案，并记录来源数据集、原始样本标识及可选的时间戳信息。数据集的构建避免了跨语言转换的偏差，精准聚焦韩语语音场景中的声学与上下文理解能力，为评估语音语言模型在多样化认知任务上的表现提供了丰富的基准。

使用方法

用户可通过Hugging Face的`datasets`库便捷加载KMMAU数据集的任一子集。例如，使用`load_dataset("KRAFTON/KMMAU", "age", split="test")`即可获取年龄判断子集的全部测试样本。如需评估所有能力维度，可遍历包括age、gender、number_of_speakers等在内的9个子集名称，逐一加载并分析。每个样本以字典形式呈现，包含唯一标识符、音频数据、问题与参考答案等字段，便于直接用于模型推理与结果对比。

背景与挑战

背景概述

KMMAU（Korean Multi-Modal Audio Understanding）数据集由韩国KRAFTON AI研究团队于2026年创建，旨在系统评估语音语言模型在多样化音频理解任务上的表现。该数据集围绕语音的声学相关与上下文相关两大核心能力构建，涵盖年龄估计、性别识别、说话人数检测、事实提取、实体计数、角色职业识别、主题归纳、词频统计及词序验证等9项细粒度评测子集。作为基于韩国本土语音语料（Seoul Corpus、KMSAV、KSS）开发的首个综合性音频理解基准，KMMAU填补了非英语环境下多模态语音评估的空白，为构建具备深层语义理解能力的语音模型提供了标准化评测平台，并推动了韩语语音人工智能研究迈向更高层次的认知推理阶段。

当前挑战

KMMAU所应对的领域挑战在于现有语音评测基准多聚焦于英语场景且局限于基础识别任务，缺乏对语义理解、上下文推理及细粒度声学属性辨识的全面评估，尤其缺少针对韩语等非英语语言的系统性多模态理解基准。在构建过程中，团队面临的核心挑战包括：如何从原始韩语ASR数据集（如Seoul Corpus和KSS）中高效提取并标注声学元数据（如年龄、性别）与上下文信息（如角色职业、话题总结），确保标注的一致性与客观性；如何通过LLM生成与人工审核相结合的方式设计涵盖9种不同认知难度级别的问答对，同时避免评测内容因翻译而产生的语义偏差；以及如何在小规模样本（共计2,204条）条件下保持各子集评测的统计有效性与任务代表性，从而实现资源约束下的高信度评估。

常用场景

经典使用场景

在语音语言模型（SpeechLM）的研究领域，KMMAU作为首个面向韩语的多模态音频理解基准数据集，被广泛用于评估模型对语音中蕴含的多种细粒度信息进行综合理解的能力。该数据集特别设计了一组涵盖声学层面与上下文语义层面的任务，包括说话人年龄与性别判别、说话人数统计、事实抽取、关键词计数、话题概括以及语序校验等九个核心子集。研究者通常利用KMMAU对模型在统一框架下的多维度认知水平进行系统性测试，以此衡量模型是否具备超越简单语音转写、迈向深层语义与语用理解的进阶能力。

实际应用

在实际应用层面，KMMAU所定义的多元理解任务为智能语音助手、会议内容分析系统以及多媒体内容审核平台等场景提供了关键的验证素材。例如，在智能客服与语音助手领域，模型需正确识别说话人性别与年龄，并准确提取对话中的关键事实，以提供个性化响应。在会议摘要自动生成场景中，模型需具备对多人对话的话题进行归纳与字数统计的能力，这正是KMMAU中话题概括与词频计数所覆盖的技能。因此，该数据集不仅是学术评估的标杆，也直接映射了产业界对语音模型认知能力的真实需求。

衍生相关工作

自KMMAU发布以来，其构建框架与评测思路已催生出一系列具有代表性的后续工作。研究者基于该数据集提出的分层评测方法论，启发了不同语种下多模态音频理解基准的设计，如基于类似思路构建的跨语言版本。此外，KMMAU作为评测平台被集成到Raon-Eval开源评估工具中，促进了若干语音语言模型在不同推理能力维度上的对比与迭代。这些衍生工作不仅扩展了多模态音频理解的评价边界，也进一步验证了KMMAU在推动语音模型从感知走向认知进化过程中的学术价值。