OpenGVLab/InternVL-Chat-V1-2-SFT-Data

这是一个用于训练InternVL-Chat-V1-2模型的视觉指令调整数据集，包含了大约120万开源的视觉指令样本。该数据集整合了多个数据源，包括ShareGPT-4V、LLaVA-ZH、DVQA、ChartQA、AI2D、DocVQA、GeoQA+和SynthDoG-EN，支持视觉问答和问题回答任务，并提供英语和中文两种语言版本。

This is a visual instruction tuning dataset for training the InternVL-Chat-V1-2 model, containing approximately 1.2M open-source visual instruction samples. The dataset integrates multiple sources including ShareGPT-4V, LLaVA-ZH, DVQA, ChartQA, AI2D, DocVQA, GeoQA+, and SynthDoG-EN, supporting visual question answering and question answering tasks, and is available in both English and Chinese.

搜集汇总

数据集介绍

构建方式

在视觉语言模型领域，高质量指令微调数据是提升模型多模态理解能力的关键。为此，InternVL-Chat-V1-2-SFT-Data数据集应运而生，它采用了一种数据高效的监督微调策略，整合了约120万条视觉指令微调样本。该数据集以ShareGPT-4V为基础，并额外集成了LLaVA-ZH、DVQA、ChartQA、AI2D、DocVQA、GeoQA+及SynthDoG-EN等多个开源子集，通过多源数据的融合构建出一个丰富且多样化的训练资源。

使用方法

数据集在HuggingFace上以多个配置形式组织，每个配置对应一个独立的训练子集，如ai2d_train_12k、chartqa_train_18k等，均以JSONL格式存储。用户可通过指定配置名称加载相应数据，例如使用ai2d_train_12k进行图表问答任务的微调。这些子集可直接用于训练视觉语言模型，无需额外预处理，为研究者和开发者提供了便捷的接入方式。

背景与挑战

背景概述

在视觉语言模型领域，如何通过高效的监督微调（SFT）策略整合多源数据以提升模型性能，一直是研究焦点。OpenGVLab/InternVL-Chat-V1-2-SFT-Data数据集由上海人工智能实验室的研究团队于2024年发布，其核心研究问题在于探索数据效率与模型泛化能力的平衡。该数据集受LLaVA-NeXT启发，汇聚了约120万条视觉指令微调样本，涵盖ShareGPT-4V、LLaVA-ZH、DVQA、ChartQA、AI2D、DocVQA、GeoQA+及SynthDoG-EN等多样化来源，旨在推动开源多模态模型向商业级性能（如GPT-4V）迈进。这一工作不仅为视觉问答（VQA）和文档理解等任务提供了标准化训练资源，还通过跨领域数据融合，显著增强了模型对复杂视觉场景的推理能力，对后续研究具有重要示范效应。

当前挑战

该数据集面临的核心挑战首先体现在领域问题的复杂性上：视觉问答任务需同时处理图像理解、文本推理与跨模态对齐，而文档分析、图表解读等子任务对细粒度语义捕捉要求极高，单一模型难以在所有场景中保持稳定性能。其次，构建过程中存在显著困难：多源数据（如AI2D的科学图表与DocVQA的扫描文档）在标注格式、语言分布（中英文混合）及样本质量上存在异质性，需精心设计过滤与整合策略以避免数据偏差；同时，从ShareGPT-4V等大规模语料中筛选高价值指令样本时，需平衡数据量与多样性，防止模型过拟合于噪声或冗余信息。此外，开源数据集的版权合规性与跨领域迁移的泛化瓶颈，也是制约其实际应用的关键挑战。

常用场景

经典使用场景

InternVL-Chat-V1-2-SFT-Data 数据集的核心经典用途在于作为多模态视觉语言模型的指令微调（SFT）训练数据。该数据集汇聚了约120万条高质量视觉指令样本，涵盖AI2D、ChartQA、DocVQA、DVQA、GeoQA+、LLaVA-ZH、ShareGPT-4V及SynthDoG-EN等多样化的图文问答与理解任务。研究者可借此对预训练的多模态大模型进行精细调校，使其在视觉问答、图表解读、文档理解、地理空间推理等复杂场景中，精准对齐人类指令意图，从而显著提升模型的跨模态对话与推理能力。

解决学术问题

在学术研究层面，该数据集有效应对了多模态大模型在开放域视觉指令理解中面临的训练数据稀缺与质量参差不齐的挑战。通过整合多种公开的高质量视觉问答与指令数据，它解决了模型在细粒度视觉感知、结构化文档解析、图表逻辑推理等任务上的泛化瓶颈问题。其意义在于为研究者提供了一个标准化、可复现的微调基准，推动了多模态对话系统向更接近人类认知水平的演进，并深刻影响了后续视觉语言模型的评估范式与训练策略设计。

实际应用

实际应用层面，InternVL-Chat-V1-2-SFT-Data 所训练的模型可部署于智能教育辅导系统，自动解析数学几何图表并生成解题步骤；在办公自动化领域，支持对扫描文档、财务报表及技术图纸的智能问答；还能赋能无障碍辅助工具，为视障用户描述复杂图表与场景内容。此外，该数据驱动的模型在电商产品识别、医疗影像初步解读等场景中，通过多轮对话与用户交互，提供精准的视觉信息提取与决策支持。

数据集最近研究

最新研究方向

在视觉语言模型飞速演进的浪潮中，InternVL-Chat-V1-2-SFT-Data数据集凭借其高效的数据筛选策略与大规模开源特性，成为推动多模态对话系统迈向实用化的重要基石。该数据集整合了ShareGPT-4V、LLaVA-ZH、DVQA、ChartQA、AI2D、DocVQA、GeoQA+及SynthDoG-EN等多元视觉指令微调样本，总量约120万条，覆盖图表解析、文档问答、地理推理等复杂场景，精准回应了当前大模型在专业领域知识对齐与细粒度视觉理解上的迫切需求。其研究前沿紧密围绕“数据效率”与“任务泛化”两大核心，通过融合高质量人工标注与合成数据，显著提升了模型在零样本推理与跨模态迁移中的表现，为缩小开源模型与GPT-4V等商业系统间的性能鸿沟提供了关键路径。这一工作不仅推动了视觉语言基础模型在医疗影像分析、教育辅助、智能文档处理等热点应用中的落地，更以完全开放的姿态重塑了多模态社区的研究范式，成为连接学术探索与工业部署的桥梁。