MMBench-DEV-RU

# MMBench-DEV-RU

Это переведенный Dev сплит mmbench для оценки русскоязычных мультимодальных LLM.
Перевод происходил при помощи gpt-4, часть вопросов была проверена ассесорами.
В данной версии отсутствует малая часть вопросов оригинального бенчмарка.

Ссылка на оригинальный бенчмарк: https://huggingface.co/spaces/opencompass/MMBench

## Скрипт для оценки качества

https://github.com/Natyren/mmbench-ru-eval

Файл, который вы собираетесь прогнать должен включать колонку gt ответа и предсказанного. Они должны называться соответсвенно "answer" и "predict"

# MMBench-DEV-RU

本资源为经翻译后的MMBench开发子集，用于评估俄语多模态大语言模型（Large Language Model，LLM）。翻译工作依托GPT-4完成，部分问题已由评估专员核验。本版本暂未包含原始基准测试的全部问题，缺失少量原始题目。

原始基准测试链接：https://huggingface.co/spaces/opencompass/MMBench

## 质量评估脚本
https://github.com/Natyren/mmbench-ru-eval

待执行评估的文件需包含标准答案列与预测答案列，二者的列名需分别为"answer"与"predict"。

搜集汇总

背景与挑战

背景概述

MMBench-DEV-RU是MMBench基准的俄语翻译开发集，专用于评估俄语多模态大语言模型。该翻译由GPT-4完成并经过部分人工验证，但缺少原基准中的少量问题。