Trelis/eval-gemini-2.5-pro-medical-terms-2025-20260408-1927
收藏资源简介：
--- tags: - whisper - evaluation - speech - speech-to-text --- # Evaluation Results: gemini-2.5-pro Evaluation results from Whisper model evaluation. ## Summary | Model | WER | CER | |-------|-----|-----| | [google/gemini-2.5-pro](https://huggingface.co/google/gemini-2.5-pro) | 4.81% | 1.76% | ## Source Data - **Evaluation Dataset:** [Trelis/medical-terms-2025](https://huggingface.co/datasets/Trelis/medical-terms-2025) - **Model Evaluated:** [google/gemini-2.5-pro](https://huggingface.co/google/gemini-2.5-pro) ## Columns | Column | Description | |--------|-------------| | `audio` | Audio sample (if available from source dataset) | | `reference` | Ground truth transcription | | `prediction` | Model prediction | | `wer` | Word Error Rate for this sample | | `cer` | Character Error Rate for this sample | | `entities` | Entity annotations from source dataset | | `entity_cer` | Per-sample entity CER (-1.0 if no entities) | ## Entity CER **Overall Entity CER:** 13.82% | Category | CER | |----------|-----| | biomarker | 4.17% | | condition | 6.56% | | drug | 15.61% | | procedure | 0.00% | --- *Generated by [Trelis Studio](https://studio.trelis.com)*
--- 标签： - Whisper - 评估 - 语音 - 语音转文字 --- # 评估结果：gemini-2.5-pro 本评估结果源自Whisper语音模型的评估工作。 ## 摘要 | 模型 | 词错误率（Word Error Rate，WER） | 字符错误率（Character Error Rate，CER） | |-------|-----|-----| | [google/gemini-2.5-pro](https://huggingface.co/google/gemini-2.5-pro) | 4.81% | 1.76% | ## 源数据 - **评估数据集：** [Trelis/medical-terms-2025](https://huggingface.co/datasets/Trelis/medical-terms-2025) - **评估模型：** [google/gemini-2.5-pro](https://huggingface.co/google/gemini-2.5-pro) ## 列说明 | 列名 | 描述 | |--------|-------------| | `audio` | 音频样本（若源数据集提供） | | `reference` | 基准转录文本（真实标注） | | `prediction` | 模型预测转录结果 | | `wer` | 单样本词错误率 | | `cer` | 单样本字符错误率 | | `entities` | 源数据集自带的实体标注 | | `entity_cer` | 单样本实体字符错误率（无实体时取值为-1.0） | ## 实体字符错误率 **整体实体字符错误率：** 13.82% | 类别 | 字符错误率 | |----------|-----| | 生物标志物（biomarker） | 4.17% | | 病症（condition） | 6.56% | | 药物（drug） | 15.61% | | 诊疗操作（procedure） | 0.00% | --- *由 [Trelis Studio](https://studio.trelis.com) 生成*
