VocalNet/VocalBench-zh

VocalBench-zh是一个用于评估多模态大型语言模型普通话语音交互能力的全面基准。该数据集包括中文知识、外语知识、通用知识等多个评价集，每个评价集包含1000个实例，涉及不同的数据资源。此外，还包括推理、创造力、单轮对话、多轮对话、安全性、情感同理心、代码切换和鲁棒性等评价集。数据集的许可为Apache-2.0。VocalBench-zh is a comprehensive benchmark for evaluating the Mandarin Speech Interaction capabilities of multi-modal LLMs. The dataset includes Chinese Knowledge, Foreign Knowledge, General Knowledge, and other evaluation sets, each containing 1000 instances from various data resources. Additionally, it includes evaluation sets for Reasoning, Creativity, Single-Round, Multi-Round, Safety, Emotional Empathy, Code-Switching, and Robustness. The dataset is licensed under Apache-2.0.

搜集汇总

数据集介绍

构建方式

VocalBench-zh 是由上海交通大学团队构建的中文语音交互评测基准，旨在系统评估多模态大语言模型在普通话语音交互场景中的综合能力。该数据集通过精心设计的多维度任务架构，涵盖了中文知识、外国知识、通用知识、推理、创造力、单轮对话、多轮对话、指令遵循、情感共情、安全对齐及鲁棒性等共计11个配置子集。每个子集均以Parquet格式存储，包含唯一的Qid标识、音频文件、问题文本及参考答案等字段，部分子集还引入了情境上下文、情感标签或难度等级等额外属性，以增强评测的复杂性与真实性。

使用方法

该数据集以HuggingFace Datasets库为核心加载接口，用户可通过指定配置名称（如'chinese_knowledge'或'reasoning'）便捷获取对应子集。每个样本均提供音频文件与文本字段，支持直接用于模型推理与评估。评测脚本将随后续更新发布，用户可参照官方GitHub仓库（VocalBench-zh）中的指引完成标准化评估流程。数据集采用Apache-2.0开源协议，便于学术研究与商业应用中的二次开发与复现。

背景与挑战

背景概述

VocalBench-zh是由上海交通大学OmniAgent团队于2025年发布的中文语音交互基准数据集，旨在系统评估多模态大语言模型在普通话语音对话场景中的综合能力。该数据集由刘赫扬、王宇浩等研究人员创建，围绕知识问答、逻辑推理、情感共情、安全对齐等十一个维度构建了丰富的测试样本，弥补了现有语音交互基准在中文语境下覆盖广度与深度不足的空白。通过引入语音输入与文本输出的混合评估范式，VocalBench-zh为衡量模型在真实人机对话中的理解、生成与适应性提供了标准化测试平台，对推动中文语音交互模型的研究与落地具有重要影响。

当前挑战

VocalBench-zh所应对的核心挑战在于多模态大语言模型在中文语音交互场景中的全面评估难题。一方面，现有基准多聚焦于英文或单一任务，难以反映模型在中文语音理解、多轮对话、情感识别与安全对齐等复杂维度上的表现；另一方面，构建过程中需克服语音数据标注的高昂成本、多任务间语义交叉的干扰，以及噪声环境下鲁棒性测试的标准化设计。此外，如何平衡评测的全面性与可复现性，确保不同模型在同一基准下的公平比较，也是该数据集设计时面临的关键技术挑战。

常用场景

经典使用场景

在语音交互模型评估领域，VocalBench-zh作为首个面向中文普通话的多模态大语言模型语音对话能力综合基准，其经典使用场景聚焦于系统化评测模型在多种语音交互维度上的表现。该基准涵盖中文知识、外文知识、常识、推理、创造力、单轮对话、多轮对话、指令遵循、情感共情、安全对齐及鲁棒性等十一个子集，通过音频输入与文本问答配对的形式，为研究者提供了一个统一、可复现的评估框架，以衡量模型在真实语音交互场景中的理解、生成与对齐能力。

解决学术问题

该数据集有效解决了当前多模态大语言模型研究中缺乏标准化中文语音交互评测体系这一核心学术难题。此前，多数基准侧重文本或英文语音环境，难以全面评估模型在中文语境下的听觉理解、逻辑推理、情感感知及安全性等复杂能力。VocalBench-zh通过设计细粒度的任务类别，揭示了模型在知识广度、创造性思维、多轮对话连贯性以及对抗性鲁棒性等方面的潜在短板，为领域内提供了可量化的比较基准，推动了语音交互模型从单一性能优化向全面能力均衡发展的研究方向。

实际应用

在实际应用中，VocalBench-zh的评估框架直接服务于中文语音助手、智能客服、车载语音系统及教育辅助工具等产品的研发与迭代。例如，通过其情感共情与指令遵循子集，开发者可检验模型在用户情绪波动时能否提供恰当回应；鲁棒性子集则模拟噪声环境与口音变化，确保模型在复杂现实条件下的稳定性。该基准的引入使得企业能够基于标准化测试结果筛选或微调模型，从而提升产品在中文市场中的用户体验与可靠性。

数据集最近研究

最新研究方向

随着多模态大语言模型在语音交互领域的迅猛发展，如何系统性地评估模型在中文语音场景下的综合能力成为前沿焦点。VocalBench-zh应运而生，它不仅是首个面向普通话语音交互的全方位基准，更精准地覆盖了知识问答、多轮对话、情感共情、安全对齐及鲁棒性等十余个维度，直击当前模型在复杂口语理解、指令遵循与情感感知上的薄弱环节。该数据集的推出，为构建更自然、更具同理心且安全可控的语音对话系统提供了关键测试平台，其细粒度的评估体系将推动中文语音交互研究从单一任务走向多模态融合与深度认知的新阶段。