Trelis/eval-whisper-v3-multimed-hard-20260408-1936

---
tags:
- whisper
- evaluation
- speech
- speech-to-text
---
# Evaluation Results: whisper-v3

Evaluation results from Whisper model evaluation.

## Summary

| Model | WER | CER |
|-------|-----|-----|
| [fireworks/whisper-v3](https://huggingface.co/fireworks/whisper-v3) | 12.95% | 8.99% |

## Source Data

- **Evaluation Dataset:** [Trelis/multimed-hard](https://huggingface.co/datasets/Trelis/multimed-hard)
- **Model Evaluated:** [fireworks/whisper-v3](https://huggingface.co/fireworks/whisper-v3)

## Columns

| Column | Description |
|--------|-------------|
| `audio` | Audio sample (if available from source dataset) |
| `reference` | Ground truth transcription |
| `prediction` | Model prediction |
| `wer` | Word Error Rate for this sample |
| `cer` | Character Error Rate for this sample |

| `entities` | Entity annotations from source dataset |
| `entity_cer` | Per-sample entity CER (-1.0 if no entities) |

## Entity CER

**Overall Entity CER:** 26.07%

| Category | CER |
|----------|-----|
| anatomy | 28.94% |
| biomarker | 19.58% |
| condition | 28.81% |
| drug | 7.14% |
| organisation | 30.69% |
| procedure | 26.04% |

---
*Generated by [Trelis Studio](https://studio.trelis.com)*

标签:
- Whisper（Whisper）
- 模型评测
- 语音
- 语音转文字

# 评测结果：Whisper-v3模型
本数据集收录Whisper模型的评测结果。

## 评测摘要

| 模型 | 词错误率（Word Error Rate，WER） | 字符错误率（Character Error Rate，CER） |
|-------|-----|-----|
| [fireworks/whisper-v3](https://huggingface.co/fireworks/whisper-v3) | 12.95% | 8.99% |

## 源数据集信息

- **评测数据集**：[Trelis/multimed-hard](https://huggingface.co/datasets/Trelis/multimed-hard)
- **待评测模型**：[fireworks/whisper-v3](https://huggingface.co/fireworks/whisper-v3)

## 数据列说明

| 列名 | 说明 |
|--------|-------------|
| `audio` | 音频样本（若源数据集提供该字段） |
| `reference` | 标准转录真值标注 |
| `prediction` | 模型输出的预测转录结果 |
| `wer` | 当前样本的词错误率 |
| `cer` | 当前样本的字符错误率 |

| 列名 | 说明 |
|--------|-------------|
| `entities` | 源数据集自带的实体标注信息 |
| `entity_cer` | 当前样本的实体字符错误率（若无实体则取值为-1.0） |

## 实体字符错误率

**整体实体字符错误率：26.07%**

| 类别 | 字符错误率（CER） |
|----------|-----|
| 解剖学（anatomy） | 28.94% |
| 生物标志物（biomarker） | 19.58% |
| 病症（condition） | 28.81% |
| 药物（drug） | 7.14% |
| 组织机构（organisation） | 30.69% |
| 诊疗操作（procedure） | 26.04% |

*由 [Trelis Studio](https://studio.trelis.com) 生成*