Vikhrmodels/MMBench-DEV-RU
收藏Hugging Face2024-05-26 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/Vikhrmodels/MMBench-DEV-RU
下载链接
链接失效反馈官方服务：
资源简介：
---
size_categories:
- 1K<n<10K
language:
- ru
license:
- apache-2.0
multilinguality:
- monolingual
source_datasets:
- original
task_categories:
- visual-question-answering
tags:
- benchmark
pretty_name: ruMMBench
---
# MMBench-DEV-RU
Это переведенный Dev сплит mmbench для оценки русскоязычных мультимодальных LLM.
Перевод происходил при помощи gpt-4, часть вопросов была проверена ассесорами.
В данной версии отсутствует малая часть вопросов оригинального бенчмарка.
Ссылка на оригинальный бенчмарк: https://huggingface.co/spaces/opencompass/MMBench
## Скрипт для оценки качества
https://github.com/Natyren/mmbench-ru-eval
Файл, который вы собираетесь прогнать должен включать колонку gt ответа и предсказанного. Они должны называться соответсвенно "answer" и "predict"
提供机构：
Vikhrmodels
原始信息汇总
数据集概述
基本信息
- 大小范围: 1K<n<10K
- 语言: 俄语 (ru)
- 许可证: Apache-2.0
- 多语言性: 单语种
- 数据来源: 原始数据
- 任务类别: 视觉问答
- 标签: 基准测试
- 美观名称: ruMMBench
详细描述
- 该数据集是mmbench的Dev分割版本，专门用于评估俄语多模态大型语言模型。
- 翻译过程中使用了gpt-4，部分问题由评审员验证。
- 当前版本缺少原始基准测试中的一小部分问题。
