Multi modal Self instruct 多模态基准数据集

该数据集由浙江大学、中科院软件研究所、上海科技大学等机构于 2024 年联合推出，相关论文成果为「Multimodal Self-Instruct: Synthetic Abstract Image and Visual Reasoning Instruction Using Language Model」。

本数据集由浙江大学、中国科学院软件研究所、上海科技大学等科研机构于2024年联合推出，其关联学术论文题为《多模态自指令（Multimodal Self-Instruct）：使用大语言模型生成合成抽象图像与视觉推理指令》。

搜集汇总

背景与挑战

背景概述

该数据集由多个研究机构于2024年联合发布，包含11,193个带有相关问题的抽象图像，覆盖仪表板、图表等8大类别，并额外提供62,476条数据用于模型微调。其核心基于论文'Multimodal Self-Instruct'，专注于多模态视觉推理任务。