MM-Diagnose/MMEvalPro

MMEvalPro数据集是一个用于评估大型多模态模型的数据集，旨在通过三部曲评估流程和更严格的指标来避免Type-I错误。每个原始问题都通过人工注释过程增加了一个感知问题和一个知识锚问题。数据集包含多个特征，如问题文本、图像、选项、答案等，并且提供了自动评估的代码示例。数据集主要用于测试集，商业使用仅限于测试集，禁止用于训练集。

MMEvalPro is a dataset designed for the evaluation of large multimodal models, aiming to avoid Type-I errors through a trilogy evaluation pipeline and more rigorous metrics. Each original question is augmented by human annotators with one perception question and one knowledge anchor question through a meticulous annotation process. The dataset includes multiple features such as question text, images, choices, answers, etc., and provides example code for automatic evaluation. The dataset is primarily intended for use as a test set, with commercial use restricted to testing and prohibited for training purposes.

原始信息汇总

数据集概述

数据集特征

• index: 整数类型 (int64)
• triplet_id: 整数类型 (int64)
• question: 字符串类型 (string)
• choices: 字符串序列 (sequence: string)
• answer: 字符串类型 (string)
• image: 图像类型 (image)
• source: 字符串类型 (string)
• question_category: 字符串类型 (string)
• eval_type: 字符串类型 (string)

数据集分割

• test:
  • 数据量: 805830008 字节
  • 示例数量: 7248

数据集大小

• 下载大小: 269224216 字节
• 数据集大小: 805830008 字节

配置

• config_name: default
• data_files:
  • split: test
  • path: data/test-*

许可

• 许可证: cc-by-sa-4.0

任务类别

• 多选题 (multiple-choice)

语言

• 英语 (en)
• 中文 (zh)

标签

• 图像 (image)