PVIT/pvit_data_stage2

PVIT数据集是用于论文《Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models》的第二阶段预训练数据集。该数据集通过引入额外的区域级视觉编码器来扩展多模态大语言模型（MLLM），以支持基于区域的输入。具体来说，采用了RegionCLIP的视觉编码器，通过输入图像和区域来提取区域级特征。这种区域级特征的引入对原始MLLM的影响较小，并且由于RegionCLIP提供的特征已经在细粒度上与语言对齐，因此将其与MLLM对齐的开销相对较小。数据集的主要用途是研究大型多模态模型和聊天机器人，主要用户群体是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。The PVIT dataset is the second-stage pre-training dataset for the paper titled "Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models". This dataset extends multimodal large language models (MLLMs) by introducing an additional region-level visual encoder to support region-based inputs. Specifically, the visual encoder from RegionCLIP is adopted to extract region-level features by inputting images and regions. The introduction of such region-level features has minimal impact on the original MLLMs. Moreover, since the features provided by RegionCLIP are already aligned with language at a fine-grained level, the overhead of aligning them with MLLMs is relatively low. The primary purpose of this dataset is to research large multimodal models and chatbots, and its target user group mainly includes researchers and enthusiasts in the fields of computer vision, natural language processing, machine learning, and artificial intelligence.

原始信息汇总

PVIT 数据集

PVIT 数据集是论文《Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models》的第二阶段预训练数据集。

模型描述

Position-enhanced Visual Instruction Tuning (PVIT) 通过引入一个额外的区域级视觉编码器来扩展多模态大型语言模型（MLLM），以支持基于区域的输入。具体来说，我们采用了 RegionCLIP 的视觉编码器，并利用它通过输入图像和区域来提取区域级特征。作为一种额外的信息源，这种方式对原始 MLLM 的影响最小。此外，由于 RegionCLIP 提供的特征本身已经在细粒度级别上与语言对齐，因此将其对齐到 MLLM 的开销相对较小。参考 LLaVA，我们为 PVIT 设计了一个两阶段的训练策略：首先预训练一个线性投影，将区域特征对齐到 LLM 词嵌入，然后进行端到端的微调，以遵循复杂的细粒度指令。

使用方法

预训练的说明请参见 这里。

预期用途

主要用途：PVIT 主要用于大型多模态模型和聊天机器人的研究。

主要用户：该模型的主要用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

BibTeX 条目和引用信息

bibtex @misc{chen2023positionenhanced, title={Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models}, author={Chi Chen and Ruoyu Qin and Fuwen Luo and Xiaoyue Mi and Peng Li and Maosong Sun and Yang Liu}, year={2023}, eprint={2308.13437}, archivePrefix={arXiv}, primaryClass={cs.CV} }