MAmmoTH-VL-12M
收藏资源简介：
MAmmoTH-VL-12M是一个大规模的多模态指令调优数据集，包含12M指令-响应对，旨在通过丰富的中间推理步骤来激发链式思维（CoT）推理。该数据集覆盖了多样化的、推理密集型任务，并提供了详细的、忠实的推理步骤。实验表明，使用该数据集训练的多模态大语言模型在推理能力上显著提升，达到了最新的性能水平。
MAmmoTH-VL-12M is a large-scale multimodal instruction-tuning dataset containing 12 million instruction-response pairs. It aims to elicit chain-of-thought (CoT) reasoning through rich intermediate inference steps. This dataset covers diverse, reasoning-intensive tasks and provides detailed and faithful inference procedures. Experiments demonstrate that multimodal large language models (LLMs) trained on this dataset achieve significantly improved reasoning capabilities and reach state-of-the-art performance levels.
MAmmoTH-VL 数据集概述
数据集简介
MAmmoTH-VL 是一个大规模的多模态指令调优数据集，旨在通过丰富的中间推理步骤来激发链式推理（CoT）能力。该数据集包含 12M 条指令-响应对，覆盖了多样化的、推理密集型任务，并提供了详细的、忠实的推理步骤。
数据集结构
数据集的结构如下：
- id: 数据样本的唯一标识符。
- image: 图像文件的路径。
- video: 视频文件的路径。
- conversations: 一系列对话，包含“human”和“gpt”之间的对话。
- from: 标识说话者（“human”或“gpt”）。
- value: 消息内容，可能包含文本和图像引用。
数据集示例
以下是一个训练数据的示例： json { "id": "str", "image": "str/array", "video": "str", "conversations": [ { "from": "human", "value": "str" }, { "from": "gpt", "value": "str" } ] }
数据集下载
- 预训练数据集: 从 HuggingFace 下载 LLaVA-Pretrain 数据集。
- 微调数据集: 从 HuggingFace 下载 MAmmoTH-VL-12M 数据集。
数据集应用
- 预训练阶段: 使用
train/LLaVA-NeXT/scripts/train/mammoth_vl/pretrain_qwen_2_5.sh脚本进行预训练。 - 微调阶段: 使用
train/LLaVA-NeXT/scripts/train/mammoth_vl/finetune_qwen_2_5_si.sh和train/LLaVA-NeXT/scripts/train/mammoth_vl/finetune_qwen_2_5_ov.sh脚本进行微调。
数据集评估
使用 eval/lmms-eval/eval_mammoth_vl_example.sh 脚本进行模型评估。
