frtna/es_it_Results-base-OPUS_Tatoeba
收藏Hugging Face2022-01-04 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/frtna/es_it_Results-base-OPUS_Tatoeba
下载链接
链接失效反馈官方服务：
资源简介：
- Model: [OPUS-MT](https://huggingface.co/Helsinki-NLP/opus-mt-es-it)
- Tested on: [Tatoeba]()
<br>
- Metric:
- bleu(tensorflow),
- sacrebleu(github->mjpost),
- google_bleu(nltk),
- rouge(google-research),
- meteor(nltk),
- ter(university of Maryland)
<br>
- Retrieved from: [Huggingface](https://huggingface.co/metrics/) [metrics](https://github.com/huggingface/datasets/blob/master/metrics/)
- Script used for translation and testing: [https://gitlab.com/hmtkvs/machine_translation/-/tree/production-stable](https://gitlab.com/hmtkvs/machine_translation/-/tree/production-stable)
## Info
## mtdata-OPUS Tatoeba (length=14178, single reference)
**bleu** : 0.5228
<br>
**sacrebleu** : 0.5652
<br>
**google_bleu** : 0.5454
<br>
**rouge-mid** : precision=0.7792, recall=0.7899, f_measure=0.7796
<br>
**meteor** : 0.7557
<br>
**ter** : score=0.3003, num_edits= 24654, ref_length= 82079.0
## OPUS Tatoeba (length = 5000, multi references)
**bleu** : 0.5165
<br>
**sacrebleu** : 0.7098
<br>
**google_bleu** : 0.5397
<br>
**rouge-mid** : precision=0.9965, recall=0.5021, f_measure=0.6665
<br>
**meteor** : 0.3344
<br>
**ter** : score: 0.6703, 'num_edits': 38883, 'ref_length': 58000.0
- 模型：OPUS-MT，链接：https://huggingface.co/Helsinki-NLP/opus-mt-es-it
- 测试数据集：Tatoeba
- 评估指标：
- 基于TensorFlow实现的双语评估替补（Bilingual Evaluation Understudy，简称BLEU）
- sacreBLEU（由GitHub用户mjpost实现）
- 基于NLTK工具包的谷歌官方BLEU
- 由谷歌研究院开发的ROUGE（Recall-Oriented Understudy for Gisting Evaluation）指标
- 基于NLTK工具包的METEOR（Metric for Evaluation of Translation with Explicit ORdering）指标
- 由马里兰大学开发的翻译编辑率（Translation Edit Rate，简称TER）
- 数据来源：Hugging Face指标库（https://huggingface.co/metrics/）与Hugging Face数据集官方指标仓库（https://github.com/huggingface/datasets/blob/master/metrics/）
- 翻译与测试所用脚本：https://gitlab.com/hmtkvs/machine_translation/-/tree/production-stable
## 信息
### mtdata-OPUS Tatoeba（样本量=14178，单参考译文）
**BLEU**：0.5228
**sacreBLEU**：0.5652
**谷歌官方BLEU**：0.5454
**ROUGE-MID**：精确率=0.7792，召回率=0.7899，F1值=0.7796
**METEOR**：0.7557
**TER**：得分=0.3003，总编辑操作数=24654，参考译文总长度=82079.0
### OPUS Tatoeba（样本量=5000，多参考译文）
**BLEU**：0.5165
**sacreBLEU**：0.7098
**谷歌官方BLEU**：0.5397
**ROUGE-MID**：精确率=0.9965，召回率=0.5021，F1值=0.6665
**METEOR**：0.3344
**TER**：得分=0.6703，总编辑操作数=38883，参考译文总长度=58000.0
提供机构：
frtna
原始信息汇总
数据集概述
数据集名称
- mtdata-OPUS Tatoeba (length=14178, single reference)
- OPUS Tatoeba (length = 5000, multi references)
评估指标
- bleu
- sacrebleu
- google_bleu
- rouge
- meteor
- ter
评估结果
mtdata-OPUS Tatoeba (length=14178, single reference)
- bleu : 0.5228
- sacrebleu : 0.5652
- google_bleu : 0.5454
- rouge-mid : precision=0.7792, recall=0.7899, f_measure=0.7796
- meteor : 0.7557
- ter : score=0.3003, num_edits= 24654, ref_length= 82079.0
OPUS Tatoeba (length = 5000, multi references)
- bleu : 0.5165
- sacrebleu : 0.7098
- google_bleu : 0.5397
- rouge-mid : precision=0.9965, recall=0.5021, f_measure=0.6665
- meteor : 0.3344
- ter : score: 0.6703, num_edits: 38883, ref_length: 58000.0
