lmms-lab/CMMMU

这是一个用于评估大规模多模态模型（LMMs）的数据集，是CMMMU基准测试的格式化版本。数据集包含多个特征，如id、类型、来源类型、来源、问题、选项、图像、答案、分析、分布、难度级别、子类别、类别、子领域、图像类型以及图像文件名等。数据集分为dev、val和test三个部分，分别包含112、900和11000个样本。数据集的总下载大小为1297435382字节，总大小为3255078984字节。

原始信息汇总

数据集概述

数据集特征

• id: 字符串类型
• type: 字符串类型
• source_type: 字符串类型
• source: 字符串类型
• question: 字符串类型
• option1: 字符串类型
• option2: 字符串类型
• option3: 字符串类型
• option4: 字符串类型
• image_1: 图像类型
• image_2: 图像类型
• image_3: 图像类型
• image_4: 图像类型
• image_5: 图像类型
• answer: 字符串类型
• analysis: 字符串类型
• distribution: 字符串类型
• difficulty_level: 字符串类型
• subcategory: 字符串类型
• category: 字符串类型
• subfield: 字符串类型
• img_type: 字符串类型
• image_1_filename: 字符串类型
• image_2_filename: 字符串类型
• image_3_filename: 字符串类型
• image_4_filename: 字符串类型
• image_5_filename: 字符串类型

数据集分割

• dev: 112个样本，13180933.0字节
• val: 900个样本，95817884.0字节
• test: 11000个样本，3146080167.0字节

数据集大小

• 下载大小: 1297435382字节
• 数据集大小: 3255078984.0字节

配置

• config_name: default
  • data_files:
    • dev: data/dev-*
    • val: data/val-*
    • test: data/test-*