M³IT：多模式多语言指令调优数据集

该数据集由 40 个数据集组成，其中包括 240 万个实例和 400 条手动编写的任务指令，并重新格式化为视觉到文本结构。数据集编译了经典视觉语言任务的各种任务，包括字幕、视觉问答（VQA）、视觉条件生成、推理和分类。

This dataset consists of 40 constituent datasets, containing 2.4 million instances and 400 manually written task instructions, and has been reformatted into a visual-to-text structure. This dataset compiles a variety of classic vision-language tasks, including captioning, visual question answering (VQA), vision-conditioned generation, reasoning, and classification.

搜集汇总

背景与挑战

背景概述

M³IT是一个多模式多语言指令调优数据集，由40个数据集组成，包含240万个实例和400条手动编写的任务指令，并重新格式化为视觉到文本结构。该数据集编译了多种经典视觉语言任务，如字幕、视觉问答、视觉条件生成、推理和分类，旨在支持多语言环境下的视觉语言模型训练和评估。