webfm-eval

webfm-eval 是面向 WebFM 文本转语音（TTS）工作的固定评估集与评测工具集，语言为中文，标签包括 text-to-speech、evaluation 和 webfm。它刻意保持小规模，目的不是用于训练，而是让两个模型层级能够在同一轮运行中基于相同句子进行比较。代码采用 MIT 许可证，提示音频片段来自购买的 SFW 语料库，商业使用前需检查来源条款。数据内容与文件构成方面：eval/sentences.json 包含 40 个句子，划分为 7 个类别桶：short、medium、long、number、latin、polyphone、narration。eval/score.py 提供评分逻辑，支持原始 CER 与归一化 CER、前缀 CER、按桶和按声音聚合，以及相对基线的差异。eval/t2s.json 是繁体到简体转换表，仅在 opencc 不可用时使用。config/ming_voices.json 记录八个 WebFM 声音及其 prompt transcripts。refs/wav/v01..v08.wav 是八个声音的提示音频片段，从随附的 F5 reference mels 重建。kaggle/bake_voices.py 为每个声音生成 prompt_latent 和 CAM++ speaker_emb。kaggle/ming_eval.py 支持 teacher x student 矩阵评估，并可按单元格恢复。评分设计上，由于 Whisper 通常将中文转写为繁体，直接用其与简体参考比较会因字符差异引入大量虚假错误，因此每个分数均报告两次：cer_raw 为原始结果，cer_norm 为繁转简并去除标点后的结果；两者差距反映测量方式而非模型质量。cer_prefix 仅评前四个字符，用于捕捉开头音节乱码；这种错误对整体 CER 影响很小，却会毁掉广播台词，也是 weight-only int4 量化在 3-step student 上出现的失败模式。使用方式包括运行 python3 eval/score.py selftest 进行自检，以及运行 python3 eval/score.py aggregate --results results.jsonl --baseline teacher --by-bucket 聚合结果。results.jsonl 每行对应一个生成话语，字段为 {id, model, voice, text, hyp_text, spk_cos?, mel_l1?, dur_ratio?}。该数据集/工具集适用于中文 TTS 输出评估、按桶与声音的细粒度分析、基线对比、teacher-student 矩阵评估，以及量化模型失败模式观察等场景。

原始信息汇总

webfm-eval 数据集总结

基本信息

• 数据集页面：https://huggingface.co/datasets/idefinity/webfm-eval
• 数据集名称：webfm-eval
• 许可证：MIT
• 语言：中文（zh）
• 标签：text-to-speech、evaluation、webfm

数据集定位

• 用于 WebFM TTS 工作的固定评估集和测试框架。
• 规模刻意较小。
• 目的：让两个模型层级在同一运行中、在同一批句子上进行比较。
• 不用于训练。

内容与文件

• eval/sentences.json：40 个句子，7 个桶，分别为 short / medium / long / number / latin / polyphone / narration。
• eval/score.py：raw 与 normalised CER、prefix CER、按桶和按声音聚合、相对 baseline 的 delta。
• eval/t2s.json：繁体到简体表，仅在 opencc 不可用时使用。
• config/ming_voices.json：八个 WebFM 声音及其提示转写。
• refs/wav/v01..v08.wav：提示音频片段，由随附的 F5 参考 mel 重建。
• kaggle/bake_voices.py：为每个声音生成 prompt_latent + CAM++ speaker_emb。
• kaggle/ming_eval.py：teacher x student 矩阵，按单元格可恢复。

评分方法说明

• Whisper 通常以繁体中文转写中文。
• 将繁体转写结果与简体参考比较并计数字符差异，会增加数十点虚假错误。
• 每个分数报告两次：cer_raw（按生成结果）和 cer_norm（繁体转简体、去除标点后）。
• 两者差距属于测量问题，不是模型质量。
• cer_prefix 仅评分前四个字符。
• 开头音节乱码对整体 CER 影响很小，但会毁掉电台台词。
• 这是 weight-only int4 量化在 3-step student 上产生的失败模式。

使用方式

bash python3 eval/score.py selftest python3 eval/score.py aggregate --results results.jsonl --baseline teacher --by-bucket

• results.jsonl 每条生成 utterance 一行： {id, model, voice, text, hyp_text, spk_cos?, mel_l1?, dur_ratio?}

许可

• 代码：MIT。
• 提示片段：源自购买 SFW 语料。
• 商业使用前需检查来源条款。

搜集汇总

数据集介绍

构建方式

在神经语音合成系统的可复现评测中，webfm-eval以固定评测集与配套执行框架的形态出现，旨在使不同层级的WebFM TTS模型于相同文本、相同运行条件下获得可比结果，而非承担训练语料职能。其内容由四十条中文句子构成，划分为短句、中句、长句、数字、拉丁字符、多音字与叙述七个桶；评分脚本提供原始及归一化CER、前缀CER、按桶与按音色聚合及相对基线增量。数据集同时收录繁简转换表、八种WebFM音色及其提示转写，并从已发布的F5参考梅尔谱重建提示音频。Kaggle脚本可生成提示潜变量与CAM++说话人嵌入，并支持教师—学生矩阵逐单元断点续算。

特点

面向中文文本到语音评测的特殊性，webfm-eval在紧凑规模中嵌入细粒度诊断能力。四十条句子覆盖七类语言现象，从短促指令到叙述性长句，兼顾数字、拉丁字母与多音字等易错点，便于定位模型在不同语境下的表现。评分机制区分cer_raw与cer_norm，以抵消Whisper常以繁体转写、标点差异带来的虚假误差；cer_prefix仅考察前四字符，可揭示开头音节崩坏这一在广播语句中影响显著、却易被整体CER掩盖的失效模式，该模式亦见于权重int4量化的三步学生模型。按桶、按音色聚合及相对基线增量进一步支持多维比较。

使用方法

在文本到语音模型的可复现评估实践中，使用者可先执行python3 eval/score.py selftest验证环境，再以python3 eval/score.py aggregate --results results.jsonl --baseline teacher --by-bucket汇总结果。results.jsonl按每条生成话语记录一行，字段包含编号、模型、音色、文本、假设文本，以及可选的说话人余弦相似度、梅尔L1距离与时长比。该框架支持相对教师基线的增量比较，并可按桶输出聚合指标，从而观察不同语言现象与音色条件下的差异。Kaggle目录下的脚本用于烘焙音色提示潜变量与CAM++说话人嵌入，并运行教师乘学生矩阵，矩阵单元可断点续算。代码以MIT许可发布，提示片段源自购买的安全语料，商业使用前需核查来源条款。

背景与挑战

背景概述

webfm-eval伴随WebFM TTS研究工作而构建，定位为固定评测集与评测工具链，而非训练语料。其体量刻意精简，包含40条中文句子，覆盖短句、中句、长句、数字、拉丁字符、多音字与叙述七类桶，并提供八种WebFM音色及其提示转写。核心研究问题在于使两个模型层级在同一批句子、同一运行条件下进行可复现比较，借助原始与归一化CER、前缀CER、分桶与分音色聚合以及对基线增量，揭示权重-only int4量化等设置对三步骤学生模型的影响。该数据集对中文TTS评测的可复现性、细粒度错误诊断与模型压缩评估具有参考价值。

当前挑战

中文语音合成评测长期受制于转写规范差异带来的度量噪声，Whisper常以繁体输出，与简体参考直接比较会引入数十点虚假误差，因此需同时报告cer_raw与cer_norm。前缀错误在整体CER中权重甚微，却足以破坏广播台词，故引入cer_prefix予以刻画。领域问题还包括短句、数字、拉丁文、多音字与叙述文本的鲁棒合成，以及不同音色间的一致性。构建过程中，40句固定集合需兼顾覆盖性与可比较性；参考音频源自购买SFW语料，须核查商业使用条款；评测还依赖opencc、CAM++说话人嵌入、prompt latent与可恢复的教师-学生矩阵，增加了流程复现与跨平台可移植的复杂度。

常用场景

经典使用场景

在语音合成评测领域，webfm-eval 以固定小型测试集为 WebFM TTS 工作提供同句同轮的可比性。其经典使用场景是让教师模型与学生模型对同一组四十句中文文本进行生成，覆盖短句、中句、长句、数字、拉丁字母、多音字与旁白七类桶，并在同一运行中聚合原始 CER、规范化 CER、前缀 CER、分桶与分声音结果及相对基线增量。八种 WebFM 音色与提示转写共同构成受控变量，kaggle/ming_eval.py 则支持教师乘学生矩阵的逐单元恢复，使量化、蒸馏或轻量学生模型的比较能够在统一协议下完成，而非依赖零散样本或不可复现的听测印象。

实际应用

面向语音合成系统研发，webfm-eval 可作为回归测试与模型选型的轻量基准。工程团队在调整 WebFM 音色、训练学生模型或应用权重量化后，用同一批句子和八种提示音色生成 results.jsonl，再以 score.py 汇总整体、分桶和分音色指标，观察相对教师基线的增减。kaggle/bake_voices.py 生成 prompt_latent 与 CAM++ 说话人嵌入，使音色条件可复现；ming_eval.py 的教师乘学生矩阵支持分单元续跑，适合算力受限的迭代实验。对于广播播报、旁白、数字串和拉丁字母混读等场景，前缀 CER 能及时暴露开头失真，帮助定位需回退或重训的配置。

衍生相关工作

webfm-eval 与 WebFM TTS 工作紧密衔接，其派生与相关经典工作围绕可复现评测链路展开。WebFM 教师与学生模型在同一协议下被系统比较，推动轻量 TTS 与量化学生模型的评估实践；提示片段由已发布的 F5 参考梅尔重建，延续 F5 系列在语音克隆与提示条件建模中的技术路径；CAM++ 说话人嵌入和 prompt_latent 生成流程被封装为 Kaggle 脚本，形成音色条件复用的工程组件。Whisper 与 OpenCC 构成的中文转写、繁简规范化链路，亦因该评估集对 cer_raw 与 cer_norm 的并报而获得方法学强调。这些工作共同服务于 TTS 评测标准化与错误归因。