LLaVA-VL/llava-plus-data

---
license: cc-by-nc-4.0
task_categories:
- visual-question-answering
- question-answering
language:
- en
pretty_name: LLaVA-Plus-v1-117K
size_categories:
- 100K<n<1M
---

# LLaVA-Plus Instructed Dataset Card

## Dataset details

**Dataset type:**
LLaVA-Plus-v1-117K is a set of GPT-generated multimodal tool-augmented instruction-following data.
It is constructed for tool use to build large multimodal agents with GPT-4-plus vision/language capability.

**Dataset date:**
LLaVA-Plus-v1-117K was collected in Sep 2023, by prompting ChatGPT/GPT-4-0314 API.

**Paper or resources for more information:**
https://llava-vl.github.io/llava-plus

**License:**
Attribution-NonCommercial 4.0 International
It should abide by the policy of OpenAI: https://openai.com/policies/terms-of-use

**Where to send questions or comments about the model:**
https://github.com/LLaVA-VL/LLaVA-Plus-Codebase/issues

## Intended use
**Primary intended uses:**
The primary use of LLaVA-Plus is research on large multimodal agents, and chatbots.

**Primary intended users:**
The primary intended users of the model are researchers and hobbyists in computer vision, natural language processing, machine learning, and artificial intelligence.

许可证：知识共享署名-非商业性使用4.0国际许可协议（CC BY-NC 4.0）
任务类别：
- 视觉问答（Visual Question Answering）
- 问答（Question Answering）
语言：
- 英语（en）
展示名称：LLaVA-Plus-v1-117K
样本量区间：
- 10万 < 样本量 < 100万

---

# LLaVA-Plus 指令数据集卡片

## 数据集详情
**数据集类型：**
LLaVA-Plus-v1-117K是由GPT生成的多模态工具增强型指令遵循数据集。本数据集旨在通过工具调用，构建具备GPT-4视觉与语言能力的大型多模态AI智能体（AI Agent）。

**数据集采集时间：**
LLaVA-Plus-v1-117K于2023年9月通过ChatGPT/GPT-4-0314 API接口采集生成。

**更多信息参考论文或资源：**
https://llava-vl.github.io/llava-plus

**许可证：**
本数据集采用知识共享署名-非商业性使用4.0国际许可协议，同时需遵守OpenAI的使用条款：https://openai.com/policies/terms-of-use

**数据集问题与反馈渠道：**
如需就本数据集提出疑问或反馈，请访问：https://github.com/LLaVA-VL/LLaVA-Plus-Codebase/issues

## 预期用途
**核心预期用途：**
LLaVA-Plus的主要应用场景为大型多模态智能体与聊天机器人相关的研究工作。

**核心目标用户：**
本数据集的主要使用人群为计算机视觉、自然语言处理、机器学习以及人工智能领域的研究人员与爱好者。

原始信息汇总

LLaVA-Plus-v1-117K 数据集卡片

数据集详情

数据集类型： LLaVA-Plus-v1-117K 是一组由 GPT 生成的多模态工具增强指令遵循数据。它旨在用于构建具有 GPT-4 以上视觉/语言能力的大型多模态代理。

数据集日期： LLaVA-Plus-v1-117K 于 2023 年 9 月通过 ChatGPT/GPT-4-0314 API 收集。

许可证： Attribution-NonCommercial 4.0 International

问题或评论的联系方式： https://github.com/LLaVA-VL/LLaVA-Plus-Codebase/issues

预期用途

主要预期用途： LLaVA-Plus 主要用于大型多模态代理和聊天机器人的研究。

主要预期用户： 该模型的主要预期用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

搜集汇总

数据集介绍

构建方式

LLaVA-Plus-v1-117K数据集是通过调用GPT-4-0314及ChatGPT的API，于2023年9月收集得到的。该数据集利用GPT-4增强的视觉与语言能力，自动生成了一系列多模态工具增强的指令跟随数据，旨在为构建大型多模态智能体提供训练基础。数据构建过程强调工具使用场景，通过提示工程引导模型产生高质量、多样化的交互样本，形成了包含约11.7万条数据记录的集合。

特点

该数据集的核心特点在于其多模态工具增强属性，融合了视觉问答（VQA）与问答（QA）两大任务范畴，覆盖了丰富的工具使用指令场景。数据全部以英文呈现，规模介于10万至100万之间，兼顾了数据多样性与训练效率。其设计目标聚焦于推动大型多模态智能体的研究，因此每条样本均蕴含了高度结构化的工具调用逻辑，为模型理解复杂视觉与语言交互提供了坚实支撑。

使用方法

LLaVA-Plus数据集主要面向计算机视觉、自然语言处理及人工智能领域的研究者和爱好者。在应用时，用户可将其作为训练数据，用于微调多模态大语言模型，以增强模型在工具辅助下的视觉问答与指令跟随能力。建议结合LLaVA-Plus平台的相关代码库进行模型训练与评估，实现从数据到智能体应用的无缝衔接。

背景与挑战

背景概述

LLaVA-Plus-v1-117K数据集诞生于2023年9月，由LLaVA研究团队通过调用GPT-4-0314及ChatGPT API精心构建而成。该数据集旨在突破传统视觉语言模型仅能处理静态问答任务的局限，聚焦于多模态工具增强的指令跟随能力，为构建大规模多模态智能体提供关键训练资源。其核心研究问题在于如何将大语言模型的推理能力与视觉感知、工具调用深度融合，从而赋予模型执行复杂跨模态任务的能力。作为LLaVA系列的重要延伸，该数据集在推动多模态智能体研究从单一对话向工具化、交互式应用演进方面具有里程碑意义，为计算机视觉与自然语言处理交叉领域注入了新的研究范式。

当前挑战

LLaVA-Plus数据集所应对的领域挑战在于，现有视觉语言模型普遍缺乏工具使用能力，难以完成需要多步骤推理与外部资源调用的复杂任务，如根据用户指令进行图像编辑、实时信息检索或环境交互。在数据集构建过程中，研究人员面临双重挑战：一是如何生成高质量、多样化的工具增强指令数据，需确保GPT生成样本既包含合理的工具调用序列，又能忠实反映真实任务场景；二是数据质量控制难题，包括过滤GPT-4输出中可能存在的幻觉内容、确保指令与工具对应关系的逻辑一致性，以及平衡不同工具类型在数据集中的分布，避免模型对特定工具产生过拟合。

常用场景

经典使用场景

LLaVA-Plus数据集在视觉与语言融合的交叉领域中，被广泛应用于构建和训练具备工具调用能力的大型多模态智能体。其经典使用场景在于，研究者利用GPT-4生成的117K条指令数据，赋予模型在复杂视觉任务中自主选择并调用外部工具（如目标检测器、图像分割模型或知识库）的能力，从而实现对图像内容的多步骤推理与交互式问答。这一场景不仅突破了传统视觉问答模型仅依赖静态知识的局限，还推动了从单一感知向动态规划与工具协同的方向演进。

解决学术问题

该数据集的核心贡献在于解决了多模态模型在开放世界任务中缺乏动态工具整合能力这一学术瓶颈。传统视觉语言模型受限于固定参数和封闭训练集，难以应对需要实时调用外部视觉工具（如OCR、区域定位）的复杂指令。LLaVA-Plus通过引入工具增强的指令跟随框架，使模型能够学习何时、如何以及为何调用特定工具，从而弥合了感知与推理之间的鸿沟。这一突破为多模态智能体的通用性问题提供了可复现的数据基础，显著推动了具身智能与交互式推理的研究进程。

衍生相关工作

LLaVA-Plus数据集的发布催生了多项开创性工作，例如后续研究者基于其工具调用范式提出了更高效的MoE-LLaVA架构，通过混合专家网络降低工具调用的计算开销。同时，该数据集启发了Visual ToolGPT等框架，将链式工具调用与强化学习相结合，进一步提升了多步推理的准确性。此外，LLaVA-Plus的指令生成方法也被迁移至视频理解领域，衍生出Video-LLaVA等模型，实现了对时序视觉信息中工具化分析的拓展。这些工作共同构建了一个以工具增强为核心的多模态智能体研究生态。