Lin-Chen/MMStar

MMStar 是一个精英级的视觉不可或缺的多模态基准，包含 1500 个高质量样本，旨在确保每个样本都具有视觉依赖性、最小的数据泄露风险，并且需要高级的多模态能力来解决。它涵盖了 6 个核心能力和 18 个详细维度，用于全面评估大型视觉语言模型（LVLM）的多模态能力。

MMStar is an elite, visually indispensable multimodal benchmark consisting of 1,500 high-quality samples. It is designed to ensure that each sample exhibits visual dependence, carries minimal data leakage risks, and requires advanced multimodal capabilities to resolve. The benchmark covers 6 core capabilities and 18 detailed dimensions, enabling comprehensive evaluation of the multimodal capabilities of Large Vision-Language Models (LVLMs).

原始信息汇总

数据集概述

数据集链接

• 主页: Homepage
• 数据集: 🤗 Dataset
• 论文: 🤗 Paper
• arXiv预印本: 📖 arXiv
• GitHub仓库: GitHub

搜集汇总

背景与挑战

背景概述

MMStar 是一个精英级多模态基准数据集，包含 1500 个高质量样本，每个样本都强调视觉依赖性和最小数据泄露风险，旨在评估大型视觉语言模型的高级多模态能力。它覆盖了 6 个核心能力和 18 个详细维度，为全面评估模型提供结构化框架。