ja-tts-g2p-bench

这是一个用于评估日语TTS（文本转语音）系统中汉字读音（g2p）性能的基准测试数据集。它包含151个经过人工验证的问题，覆盖8个类别（如同表記異読み、数字・助数詞等），旨在测试不同TTS引擎在上下文相关汉字读音上的准确性。数据集包括WAV音频文件和结果JSONL文件，可通过HuggingFace获取。This is a benchmark dataset for evaluating the grapheme-to-phoneme (g2p) performance of kanji pronunciation in Japanese Text-to-Speech (TTS) systems. It contains 151 manually verified entries covering 8 categories such as homographic heterophones, numbers and classifiers, etc., aiming to test the accuracy of different TTS engines in context-dependent kanji pronunciation. The dataset includes WAV audio files and result JSONL files, and is accessible via Hugging Face.

原始信息汇总

ja-tts-g2p-bench — 日本語 TTS の「漢字の読み(g2p)」性能ベンチマーク

概要

日本語TTS（音声合成）が、文脈に応じて読みが変わる漢字を正しく読み分けられるかを数値で比較するベンチマーク。同一表記でも文脈により読みが変わる日本語の特性（例：「市場」＝しじょう/いちば、「人気」＝ひとけ/にんき）に着目し、各TTSエンジンのg2p（grapheme-to-phoneme）性能を評価する。

リーダーボード（151問・人手検証済み・高いほど良い）

順位	エンジン (モデル)	正解率	95%信頼区間	正解数
🥇	gemini (gemini-3.1-flash-tts-preview)	80.1%	73–86%	121/151
	gemini (gemini-2.5-pro-tts)	77.5%	70–83%	117/151
🥈	voicevox (speaker 3)	69.5%	62–76%	105/151
🥉	openai (gpt-4o-mini-tts)	56.3%	48–64%	85/151
	gemini (gemini-2.5-flash-tts)	55.6%	48–63%	84/151
	qwen3 (qwen3-tts-flash)	52.3%	44–60%	79/151

ペア有意差検定結果（McNemar検定・Holm-Bonferroni補正）

• gemini > voicevox: Δ正解率 +0.106、補正後 p=0.023（有意）
• voicevox > openai: Δ正解率 +0.132、補正後 p=0.0045（有意）
• openai vs qwen3: Δ正解率 +0.040、補正後 p=0.31（有意差なし）

→ 漢字読み性能は gemini が最良、voicevox が続く。

カテゴリ別正解率（参考値）

読みが割れる原因ごとに8カテゴリに分類（右4カテゴリはn=6の小標本のため点推定値のみ参考）。

エンジン (モデル)	同表記異読み (n=42)	数字・助数詞 (n=33)	送り仮名 (n=33)	ドラマ字幕 (n=19)	熟字訓 (n=6)	動詞の活用 (n=6)	重箱・湯桶 (n=6)	音訓の分野依存 (n=6)
gemini (3.1-flash-tts-preview)	0.79	0.88	0.73	0.74	0.83	0.67	1.00	1.00
gemini (2.5-pro-tts)	0.83	0.67	0.82	0.79	0.67	0.83	1.00	0.50
voicevox (speaker 3)	0.71	0.67	0.58	0.74	0.83	0.67	1.00	0.83
openai (gpt-4o-mini-tts)	0.55	0.55	0.58	0.53	0.67	0.67	0.83	0.33
gemini (2.5-flash-tts)	0.48	0.61	0.45	0.58	0.67	0.83	1.00	0.50
qwen3 (qwen3-tts-flash)	0.50	0.52	0.52	0.58	0.67	0.33	1.00	0.17

カテゴリ定義：

• 同表記異読み（heteronym）：辞書的に複数の読みを持つ語
• 数字・助数詞（context_numeral）：数え方で読みが変わる
• 送り仮名（okurigana）：活用や連濁で読みが割れる
• ドラマ字幕（drama_specific）：字幕的な当て読み（義訓）
• 熟字訓（jukujikun）：辞書標準の非合成読み
• 動詞の活用（verb_conjugation）：活用・自他で割れる
• 重箱・湯桶読み（juubako_yuto）：音訓混在の複合語
• 音訓の分野依存（onkun_domain）：分野・文脈で音訓が切替

対象エンジンの特性

	学習（ニューラル）g2p	辞書ベース g2p
クラウド・クローズド	gemini / openai / qwen3	—
ローカル・オープン	（未カバー）	voicevox（OpenJTalk）

• オープンウェイトで自己ホスト可能かつ学習ベースg2pのエンジンは未計測（Fish / OpenAudio S1-miniは保留中）。

採点方法

ASRの文字起こしは文脈補正で誤読を洗浄するため使用不可。代わりに候補読み（全ひらがな文）を音声にteacher-forcingし、音響尤度が最も高い読みを選ぶ照合方式で判定（精度0.93–0.95、人手60件検証）。

データセット構成

• 採点項目: data/items_read_bench_v1.jsonl（151件、ファイル上はbenchmark_exclude9件を含む160件）
• 人名参考集: data/items_names_reference.jsonl（23件、採点対象外）
• 検証基盤用: data/items_blindspot_v1.jsonl（150件）、data/items_blindspot_v0.jsonl（30件）、data/items_blindspot_smoke.jsonl（3件）
• HuggingFace Dataset: https://huggingface.co/datasets/kawajiri-tellernovel/ja-tts-g2p-bench（WAV+結果JSONL）

主なファイル

• read_bench.py — 漢字読みベンチ本体（中断後レジューム対応）
• reading_router.py — 読み推定ルータ
• align_discriminator.py — 音声↔文字の照合器
• reading_verifier.py — 読み判定の検証＋再採点CLI
• gen_items.py — 項目ジェネレータ
• tts_engines.py / tts_adapters_extra.py — TTSレジストリ
• asr_backends.py / asr_adapters_extra.py — ASRレジストリ
• run_matrix.py — {TTS}×{ASR}行列集計

実行方法

bash

最短実行例

uv sync --extra asr --extra tts && source .venv/bin/activate python read_bench.py --tts all --out results_read_bench.jsonl

独自項目で実行

python read_bench.py --items my_items.jsonl --tts all

制限と注意点

• 採点器精度がエンジン横断で未検証（gemini単独n=60）
• 人手検証が単一アノテータ
• 項目の94%がGemini著者（分布の中立性は未検証）
• ヒト天井なし
• Gemini TTSはpreviewモデルのため計測時点の値
• 人名の当て字（例：「月→らいと」）は振り仮名なしでは原理的に読めず、ベンチ本体から除外

搜集汇总

数据集介绍

构建方式

本数据集以日语中因语境而异读的汉字为核心，系统构建了151道评测题目。首先通过Gemini半自动生成候选项目，结合Claude、OpenAI及OpenJTalk进行正解读音的多人复核，剔除9道歧义或非目标题目，并补充9道由中立生成器产出的题目，最终形成涵盖8种读音歧义类型的标准化测试集。每个题目包含含有需判别读音的汉字的句子、正确读音及干扰读音，确保评测的客观性与代表性。

特点

数据集具有多维度评测能力，覆盖同表记异读、数字助数词、送假名、戏剧字幕特读、熟字训、动词活用、重箱汤桶及音训领域依赖等8个关键类别。采用配对麦克尼马尔检验进行引擎间显著性差异分析，而非简单的置信区间比较，提高了统计严谨性。同时提供正解率、95%置信区间等量化指标，并附有经过人工验证的诊断标签，可识别低置信度或低拟合度的答案。

使用方法

使用者需配置GPU及目标TTS引擎的API密钥或本地VOICEVOX环境。运行核心脚本read_bench.py并指定待评测引擎，例如python read_bench.py --tts all --out results.jsonl，支持多引擎并行评测与中断恢复。结果输出为JSONL格式，包含每题的读音判定、诊断标志及综合正解率。用户亦可自定义题目文件与扩展TTS适配器，实现个性化评测或新引擎的集成测试。

背景与挑战

背景概述

在日语中，同一汉字基于上下文可能产生截然不同的读音，这种歧义性为语音合成（TTS）系统带来了巨大挑战。ja-tts-g2p-bench数据集由kawajiri-tellernovel团队创建于近期，旨在系统性地评估各类TTS引擎在汉字读音预测（g2p）任务上的性能。该基准测试围绕151个人工验证的歧义实例展开，涉及“同表记异读”、“数字助数词”、“送假名”等八大范畴，首次以量化方式揭示了当前商业与开源TTS系统在复杂语境下的读音抉择能力，为领域内模型比较提供了标准化评估框架。

当前挑战

该数据集面临的核心挑战在于：一方面，日语中存在大量同形异义词（如“市场”可读作しじょう或いちば），且部分义训（如“故郷”读作ふるさと）依赖戏剧字幕等特定领域知识，语义与音韵的复杂关联使TTS模型常出现误判。另一方面，构建过程中面临标注的歧义性——需穷举所有潜在误读可能性，并对罕用读音（如熟字训、重箱读法）进行人工校验，同时确保测试集的中立性与难度平衡；此外，跨引擎的公平性比较因API版本不稳定、局部模型闭源及音素-音声对应关系的精确度量而难以统一，进一步增加了评估的复杂性。

常用场景

经典使用场景

在日語語音合成研究領域，漢字讀音的多義性一直是制約系統自然度的瓶頸。ja-tts-g2p-bench 數據集構建了一套標準化評測框架，聚焦於評估各類 TTS 引擎在上下文依賴的「漢字→讀音」（g2p）任務中的表現。其經典使用場景是：研究者向系統輸入包含同形異讀詞（例如「市場」在金融與商業語境下分別讀作「しじょう」與「いちば」）的日語文本，通過比對合成語音與黃金標準讀音的一致性，以正解率為指標量化不同引擎的讀音判別能力。該場景揭示了即使最先進的模型如 Gemini 3.1 Flash 也僅達 80.1% 的正確率，凸顯了這一任務的挑戰性與數據集在細粒度評估中的關鍵作用。

衍生相关工作

ja-tts-g2p-bench 的誕生促生了一系列衍生研究工作。其一，其開源的評測框架被後續研究者用於構建擴展版測試集，例如引入更龐大的異讀詞詞典與罕用熟語對齊數據，推動了多任務學習模型的開發。其二，數據集首創的「teacher-forcing 聲學似然比對法」替代了傳統 ASR 回轉率，該方法已被其他小語種 TTS 評測項目借鑑，用以規避文字識別誤差帶來的評估偏差。其三，排行榜中對 Gemini 系列模型優勢的統計驗證，啟發了學術界對「生成式語音先驗知識在讀音消歧中的作用」這一課題的探索。此外，數據集中「盲點」（blind spot）概念——即 TTS 誤讀被 ASR 補償的現象——已成為語音質量評估中的新分析維度。

数据集最近研究

最新研究方向

在当前多模态语言模型与语音合成技术高速迭代的背景下，ja-tts-g2p-bench基准测试聚焦于日语TTS系统对同形异读汉字（heteronym）的上下文感知能力，这成为衡量合成语音自然度与准确性的关键前沿。该数据集通过精心设计的151道包含多音字、数字助数词、送假名及义训等八类语言歧义问题的测试项，结合基于音声尤度的教师强制（teacher-forcing）评分机制，揭示了不同引擎在深层次语言理解上的显著差距。基准结果不仅显示Gemini最新模型在全局准确率上以80.1%领先，更通过McNemar配对检验证实了统计显著性，同时意外暴露了OpenAI与Qwen3在该任务上的竞争趋同现象。尤其值得注意的是，在音训分野依存这一高难度类别中，各引擎表现悬殊，直接映射了前沿研究在领域特化与训练数据平衡上的痛点。该基准的发布引发了学术界对TTS评测方法论中“盲点效应”（即ASR文脉补正掩盖误读）的广泛反思，推动社区从单一语音质量指标转向融合语言理解维度的复合评估范式，为下一代上下文感知语音合成的训练目标与评估标准提供了关键参照。