Hotwords-benchmark

# Hotwords Benchmark 中文和英文 ASR 热词/上下文偏置测试集，按两个独立子目录组织： - `seaco-aishell1-hotwords/`：SeACo Test-Aishell1-NE，808 条中文测试音频；包含原始 `hotword.txt`（400 条）和 `r1-hotword.txt`（226 条）。 - `is21-deep-bias-librispeech/`：IS21 Deep Bias，包含 LibriSpeech `test-clean`（2,620 条）和 `test-other`（2,939 条）音频，以及 100/500/1000/2000 四种官方参考配置。 - `earnings22-contextual-test/`：Earnings22 contextual `test` split，772 条 15 秒英文音频，保留原始 `dictionary`/`keywords` 热词标注。 ## 文件组织 每个子目录都包含自己的 README、`manifest.jsonl`、`dataset_stats.json`、上游来源/许可说明和 `checksums.sha256`。音频文件以及较大的英文参考 TSV 由 Git LFS 管理；小型文本、JSON 和脚本文件保持为普通 Git 文件，便于在线浏览。 ## 上游来源 - 中文热词和测试集：[`R1ckShi/SeACo-Paraformer`](https://github.com/R1ckShi/SeACo-Paraformer/tree/main/data/test)。音频来自 AISHELL-1，具体条款见中文子目录 README。 - 英文热词参考文件：[`facebookresearch/fbai-speech/is21_deep_bias`](https://github.com/facebookresearch/fbai-speech/tree/main/is21_deep_bias)。音频来自 [LibriSpeech SLR12](https://www.openslr.org/12/)。 - Earnings22：[`argmaxinc/contextual-earnings22`](https://huggingface.co/datasets/argmaxinc/contextual-earnings22)，本仓库只纳入与 `asr-decoder` 表格对应的 `test` split。 - `asr-decoder` benchmark 入口：[pengzhendong/asr-decoder](https://github.com/pengzhendong/asr-decoder)。 ## `asr-decoder` 参考指标 以下是 [`asr-decoder` README](https://github.com/pengzhendong/asr-decoder) 中记录的 SenseVoiceSmall 一次解码对比；每格为“不开热词 / 开热词”。表格是该项目的复测结果， 不是上游数据集的官方成绩。 | 数据集 | 错误率 | 热词召回 | 热词精度 | F1 | | --- | --- | --- | --- | --- | | SeACo test | CER 10.41% / 8.40% | 51.59% / 77.28% | 99.39% / 99.18% | 67.92% / 86.87% | | IS21 clean | WER 3.92% / 3.47% | 83.54% / 87.39% | 99.832% / 99.819% | 90.96% / 93.19% | | IS21 other | WER 8.22% / 7.53% | 68.06% / 74.33% | 99.721% / 99.693% | 80.91% / 85.17% | | Earnings-22 test | WER 25.10% / 24.98% | 24.87% / 26.97% | 98.567% / 98.677% | 39.72% / 42.36% | ## 校验 在对应子目录执行： ```bash git lfs pull shasum -a 256 -c checksums.sha256 ``` 本仓库只整理和标注上游数据，不授予超出上游许可范围的额外权利。