M3IT

M3IT数据集是一个旨在优化视觉语言模型（VLM）与人类指令对齐的大规模多模态多语言指令调整数据集。该数据集由香港大学、北京大学和上海人工智能实验室共同创建，包含40个不同任务，总计240万个实例和400个手工编写的任务指令。数据集中的关键任务被翻译成80种语言，确保了更广泛的可用性。M3IT数据集不仅覆盖了多种视觉语言任务，如图像分类、视觉问答和图像字幕，还包含了视频相关的任务，如视频问答，以及中文视觉语言任务。此外，数据集的创建过程包括四个阶段：手工指令编写、数据预处理、仔细的质量检查和多语言数据集构建。M3IT数据集的应用领域广泛，旨在解决视觉语言模型在理解和执行多样化任务时的挑战，推动多模态智能代理的发展。

The M3IT dataset is a large-scale multimodal multilingual instruction-tuning dataset designed to optimize the alignment between Vision-Language Models (VLMs) and human instructions. Co-created by The University of Hong Kong, Peking University, and the Shanghai AI Laboratory, it encompasses 40 distinct tasks, totaling 2.4 million instances and 400 manually written task instructions. Key tasks within the dataset have been translated into 80 languages to ensure broader usability. The M3IT dataset covers a wide range of vision-language tasks, including image classification, visual question answering, and image captioning, as well as video-related tasks such as video question answering, and Chinese vision-language tasks. In addition, the dataset creation process consists of four stages: manual instruction writing, data preprocessing, rigorous quality inspection, and multilingual dataset construction. The M3IT dataset has extensive application scenarios, aiming to address the challenges encountered by vision-language models when understanding and executing diverse tasks, and promote the development of multimodal intelligent agents.

搜集汇总

数据集介绍

构建方式

M3IT数据集的构建遵循一套系统化的四阶段流程，旨在将现有视觉-语言数据集统一转化为面向指令调优的格式。首先，由八位领域内研究生作为标注员，为每项任务手动撰写10条多样化指令，最终汇聚成400条覆盖各任务核心特征的指令池。其次，通过统一的数据模式处理图像与文本：对区域相关任务，直接在图像上以红色矩形标注边界框作为视觉提示；对简短答案，则借助ChatGPT模型进行自然化改写，融入上下文信息以提升回答质量。随后，进行严格的质量审查，由不同标注员交叉校验格式一致性与改写效果，对不足3%的失败案例采用简单模板回退。最后，选取关键任务（如OK-VQA、ImageNet等）的评估数据，利用NLLB-1.3B翻译模型扩展至80种语言，并通过BLEU阈值过滤确保翻译质量。

特点

M3IT数据集在任务覆盖、指令数量与实例规模上均显著超越先前工作。其整合了40项精心挑选的视觉-语言任务，涵盖图像描述、分类、视觉问答、知识性问答、推理、生成、中文多模态及视频语言等八大类，总计约240万实例。每项任务配备约10条人工编写的指令，指令间平均编辑距离达76.6，确保了高度的语义多样性。尤为突出的是，数据集支持80种语言的翻译版本，填补了多语言视觉指令调优的空白。此外，通过边界框标注与答案改写等预处理，数据集在保持原始信息完整性的同时，增强了模型对区域关注与自然化输出的适应能力。

使用方法

M3IT数据集以统一的五字段格式（图像、指令、输入、输出、元数据）提供，便于灵活调用与模型评估。用户可根据需求随机从指令池中抽取指令构建训练实例，或针对特定任务进行子集选择。数据集支持两阶段训练范式：第一阶段利用图像描述任务（如COCO Caption）在LAION400M上进行视觉-文本对齐；第二阶段在M3IT的选定任务上进行指令调优，以激活大语言模型的潜力。评估时，可对未见任务（如视频问答、中文分类）进行零样本迁移测试，或利用GPT-4作为代理评估响应质量。多语言版本可直接用于跨语言泛化研究，而元数据字段则保留了原始数据集的关键标识，便于溯源与扩展分析。

背景与挑战

背景概述

多模态指令微调是推动视觉语言模型（VLM）与人类意图对齐的关键技术，然而高质量指令数据集的匮乏严重制约了该领域的发展。为应对这一瓶颈，香港大学、北京大学及上海人工智能实验室的研究人员于2023年联合构建了M3IT（Multi-Modal Multilingual Instruction Tuning）数据集。该数据集整合了40个精心筛选的视觉语言任务，包含240万条实例和400条人工撰写的任务指令，覆盖图像分类、视觉问答、视频理解等多元场景，并借助先进翻译系统将关键任务扩展至80种语言。M3IT的发布显著提升了VLM的跨任务泛化能力，尤其在知识型视觉问答、零样本视频理解及中文多模态任务中表现卓越，为构建通用多模态智能体奠定了数据基础。

当前挑战

M3IT面临的核心挑战在于多模态指令微调领域的双重困境。其一，领域问题层面，现有VLM在知识驱动型视觉问答中常因缺乏外部世界知识而生成错误或空洞回答，且模型对未见任务（如视频问答）的泛化能力薄弱，跨语言场景下更易出现输出语言与指令不匹配的严重偏差。其二，构建过程层面，数据集整合涉及40个异构任务的统一格式转换，需解决图像区域标注与视觉编码器尺寸冲突、VQA简短答案语义匮乏等问题；同时，人工指令编写需确保跨任务多样性（平均编辑距离76.6），而多语言翻译则面临低资源语言质量自动筛选的精度瓶颈，且翻译样本规模受计算资源限制，仅覆盖每任务500条实例。

常用场景

经典使用场景

在视觉与语言模型蓬勃发展的时代背景下，指令微调技术已成为提升模型与人类意图对齐能力的关键范式。M3IT数据集作为大规模多模态多语言指令微调资源，其经典使用场景聚焦于训练视觉语言模型以精准遵循人类指令，完成涵盖图像描述、视觉问答、视觉推理、分类与生成等40项多样化任务。研究者通过将统一格式的视觉-文本实例与精心撰写的任务指令相结合，使模型能够习得跨任务泛化能力，尤其擅长处理需要外部世界知识的复杂视觉问答，以及零样本迁移至未见过的视频理解与中文多模态任务。该数据集为开发通用型多模态智能助手提供了坚实的训练基石。

实际应用

在实际应用层面，M3IT数据集赋能了一系列高价值场景。在智能客服领域，基于该数据集训练的模型能够理解图像与文本交织的复杂查询，如识别产品图片并回答知识性问题。在教育辅助中，模型可解析科学图表并生成解释性答案，助力个性化学习。在跨语言内容创作方面，数据集的多语言支持使模型能够为不同语种的用户生成图像描述或故事。此外，该数据集还支撑了视频内容理解应用，如自动问答系统从视频帧中提取关键信息，以及面向中文用户的食品识别与对话系统，展现出从静态图像到动态视频、从单一语言到多语种的无缝迁移能力。

衍生相关工作

M3IT数据集的发布催生了一系列具有深远影响的衍生工作。其直接产物Ying-VLM模型通过融合BLIP-2视觉编码器与Ziya-13B大语言模型，在知识型视觉问答任务上超越同期基准，验证了指令微调对激活大模型世界知识的有效性。该工作启发了后续研究探索更高效的多模态对齐策略，如结合LoRA微调以降低训练成本。此外，M3IT对任务数量与指令多样性的系统分析，为后续数据集设计提供了实证指导，推动了诸如多模态思维链推理、跨语言视觉对话等方向的发展。该数据集的开源特性亦促进了社区对统一格式、多语言评估等关键问题的持续优化。