llava

LLaVA代表了一种新颖的端到端训练的大规模多模式模型，该模型结合了视觉编码器和Vicuna，以实现一般的视觉和语言理解，从而实现了令人印象深刻的聊天功能，该功能以GPT-4的精神模仿了多模式，并在科学QA中设置了新的最先进的准确性。

LLaVA represents a novel end-to-end trained large-scale multimodal model that combines a visual encoder with Vicuna to enable general visual and language understanding. It delivers impressive conversational capabilities that mimic multimodal functionalities in the spirit of GPT-4, and sets new state-of-the-art accuracy on scientific QA tasks.

搜集汇总

背景与挑战

背景概述

LLaVA是一个端到端训练的大规模多模态模型，融合视觉编码器和Vicuna，旨在实现通用视觉与语言理解，其聊天功能模仿GPT-4，并在科学问答领域达到了最先进的准确度。该数据集由哥伦比亚大学、威斯康星大学和Microsoft Research于2023年联合发布。