Rocktim/EXAMS-V

EXAMS-V是一个多学科、多语言、多模态的考试基准数据集，用于评估视觉语言模型。该数据集包含20,932个多项选择题，涵盖20个学科，包括自然科学、社会科学和其他杂项研究。问题以11种语言呈现，来自7个语系。数据集的特点包括文本、图像、表格、图表、地图、科学符号和方程等多种模态特征。数据集通过收集来自不同国家的学校考试题目，要求跨语言的复杂推理和地区特定知识。数据集的评估结果表明，即使对于先进的视觉-文本模型如GPT-4V和Gemini，这也是一个具有挑战性的数据集。

原始信息汇总

数据集概述

数据集名称

EXAMS-V: A Multi-Discipline Multilingual Multimodal Exam Benchmark for Evaluating Vision Language Models

数据集特征

• image: 图像数据
• sample_id: 字符串，样本ID
• answer_key: 字符串，答案键
• type: 字符串，类型
• grade: 字符串，年级
• subject: 字符串，学科
• subject_grouped: 字符串，学科分类
• language: 字符串，语言
• chemical_structure: 浮点数，化学结构
• table: 浮点数，表格
• figure: 浮点数，图形
• graph: 浮点数，图表

数据集分割

• train: 训练集，包含16494个样本，总大小为4447843755.352字节
• test: 测试集，包含4797个样本，总大小为1418470579.681字节

数据集大小

• 下载大小: 6442812293字节
• 数据集总大小: 5866314335.033字节

配置文件

• config_name: default
• data_files:
  • train: data/train-*
  • test: data/test-*

数据集统计

• 包含20,932个多选题，覆盖20个学科，涉及自然科学、社会科学及其他学科。
• 问题以11种语言呈现，来自7个语言家族。
• 数据集包含多种多模态特征，如文本、图像、表格、图形等。
• 语言和学科的分布显示了数据集的多样性和复杂性。

许可证

• Apache-2.0许可证

引用信息

@misc{das2024examsv, title={EXAMS-V: A Multi-Discipline Multilingual Multimodal Exam Benchmark for Evaluating Vision Language Models}, author={Rocktim Jyoti Das and Simeon Emilov Hristov and Haonan Li and Dimitar Iliyanov Dimitrov and Ivan Koychev and Preslav Nakov}, year={2024}, eprint={2403.10378}, archivePrefix={arXiv}, primaryClass={cs.CL} }