deepvk/MMBench-ru

MMBench-ru数据集是原始MMBench数据集的翻译版本，支持lmms-eval管道。该数据集通过GPT-4进行翻译，过滤掉不成功的翻译，并手动验证最常见的错误。数据集包含索引、问题、提示、选项、答案、类别、图像、来源、二级类别、评论和分割等特征。

The MMBench-ru dataset is a translated version of the original MMBench dataset that supports the lmms-eval pipeline. This dataset was translated using GPT-4, with unsuccessful translations filtered out and the most common errors manually verified. The dataset includes features such as index, question, prompt, options, answer, category, image, source, secondary category, comment, and split.

原始信息汇总

MMBench-ru 数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 视觉问答
• 语言: 俄语
• 数据规模: 1K<n<10K

配置

• 配置名称: default
  • 数据文件:
    • 分割: dev
    • 路径: mmbench_ru_dev.parquet

数据集信息

• 特征:
  • index: int64
  • question: string
  • hint: string
  • A: string
  • B: string
  • C: string
  • D: string
  • answer: string
  • category: string
  • image: image
  • source: string
  • l2-category: string
  • comment: string
  • split: string
• 分割:
  • 名称: dev
  • 样本数量: 3910

搜集汇总

数据集介绍

构建方式

MMBench-ru数据集是基于原始MMBench基准测试的俄语翻译版本，由deepvk团队构建而成。构建过程首先利用GPT-4o大语言模型将原始英文数据中的问题、提示及选项等内容逐条翻译为俄语，随后过滤掉因模型保护机制触发而翻译失败的样本，最后通过人工校验纠正了最常见的翻译错误。数据集仅包含开发集（dev split），共计3910个样本，其结构与原始英文版本保持一致。

使用方法

推荐通过lmms-eval评测框架使用该数据集。用户可加载支持lmms-eval的模型，指定任务为mmbench_ru_dev并设置批次大小进行推理。评测时模型需生成包含正确答案字母的文本，系统通过GPTEvalScore指标判定正确性：若生成文本与答案完全匹配则直接计为正确；否则调用OpenAI GPT判断模型回答是否合理。若无OpenAI API密钥，则退化为精确匹配指标。

背景与挑战

背景概述

多模态大语言模型（MLLM）的快速发展催生了对其综合能力进行系统评估的迫切需求，MMBench作为首个覆盖多维度能力的基准测试，通过设计20个细粒度能力类别与3000余道视觉问答题目，为衡量模型在感知、推理与知识应用等方面的表现提供了标准化框架。在此背景下，deepvk团队于2024年基于MMBench原始英文数据集，利用GPT-4o进行俄语翻译并经过人工校验，构建了MMBench-ru数据集，旨在填补俄语多模态评估资源的空白。该数据集由3910个样本组成，沿用原版格式，涵盖图像、问题、选项及正确答案，其发布为俄语社区的多模态模型研究提供了可靠的评测工具，推动了非英语语言环境下模型能力的横向对比与迭代优化。

当前挑战

MMBench-ru所应对的核心领域挑战在于多模态模型在俄语场景下的评估缺失，原始MMBench仅支持英文，无法反映模型处理俄语视觉问答时的真实表现，而直接翻译可能引入语义偏差或文化语境错位。在构建过程中，团队面临三重技术难题：其一，机器翻译需保留图像内容与问题间的精确关联，GPT-4o的自动翻译常因触发保护机制导致失败，需过滤无效输出；其二，人工校验环节需识别并修正翻译中的常见错误，但跨语言歧义性使得验证工作依赖专家判断；其三，数据集仅包含开发集，缺乏测试集以评估模型泛化能力，同时样本量限制可能影响统计显著性，这些因素共同构成了当前多语言多模态基准构建的典型挑战。

常用场景

经典使用场景

在视觉语言模型（VLM）的研究版图中，MMBench-ru 作为 MMBench 的俄语翻译版本，为多模态模型的跨语言评估提供了关键基准。该数据集包含3910个样本，每个样本由图像、问题、提示信息及四个选项构成，覆盖多类别视觉推理任务。研究者通过让模型从A、B、C、D中选出正确答案，并借助GPTEvalScore或精确匹配指标进行评测，从而系统性地衡量模型在俄语场景下的细粒度视觉理解能力。这一设计使得MMBench-ru成为检验多模态模型在非英语语言环境中表现的首选工具。

解决学术问题

MMBench-ru 直面多模态模型在语言多样性上的评估盲区。原始MMBench仅支持中英文，而该数据集通过GPT-4o翻译与人工校验，构建了高质量的俄语视觉问答评测集，解决了跨语言迁移中模型性能失真、语言偏差难以量化等学术难题。它揭示了当前主流VLM在俄语场景下的脆弱性，推动研究者关注多语言视觉推理中的语义对齐与知识泛化问题。其意义在于为构建真正多语言、多文化的通用多模态智能体提供了可靠的评估基石。

实际应用

在实际应用中，MMBench-ru 为俄语地区的智能客服、教育辅导、内容审核等视觉问答系统提供了性能验证标准。例如，部署在俄罗斯市场的智能导购或医疗辅助诊断工具，可通过该数据集评估其对俄语图像问题的理解准确性，确保服务符合本地语言习惯。此外，该数据集还能帮助开发者调试多语言多模态模型在真实场景中的鲁棒性，降低因语言差异导致的产品误判风险，从而加速VLM在俄语社区的落地与普及。

数据集最近研究

最新研究方向

在视觉语言模型迅猛发展的浪潮中，多模态能力评估已成为衡量模型综合性能的关键标尺。MMBench-ru作为俄语环境下首个系统化多模态基准数据集，其研究前沿聚焦于将视觉问答任务从英语迁移至低资源语言领域，通过GPT-4o翻译与人工校验相结合的方式，构建了3910个样本的可靠评估集。该数据集紧密关联当前多模态大模型（如Llava-Saiga）在非英语场景下的泛化能力验证热潮，其提出的GPTEvalScore评估机制创新性地融合了精确匹配与GPT辅助判分，有效应对了开放式生成答案的语义相似度判定难题。这一研究不仅填补了俄语视觉推理评估的空白，更为跨语言多模态基准的标准化构建提供了方法论范式，推动多模态AI从英语中心主义向语言多样性生态演进。