Afeng-x/Draw-and-Understand

MDVP-Data是一个用于多领域视觉提示指令调优的综合数据集，涵盖了点和区域级别的理解数据，旨在增强模型的理解能力和鲁棒性。此外，MDVP-Bench是一个挑战性基准，设计用于评估需要详细描述引用、相互关系分析和复杂推理的任务。

原始信息汇总

数据集概述

数据集名称

Draw-and-Understand

数据集描述

Draw-and-Understand项目引入了一个新的模型、一个多领域数据集（MDVP-Data）和一个具有挑战性的基准（MDVP-Bench），用于视觉提示指令调优。MDVP-Data是一个综合性的多领域视觉提示指令调优数据集，包含点级和区域级理解的数据，旨在增强模型的理解能力和鲁棒性。MDVP-Bench是一个具有挑战性的基准，用于评估需要详细描述引用、相互关系分析和复杂推理的任务。

任务类别

• 文本生成
• 图像到文本
• 摘要
• 问答

语言

• 英语

许可证

Attribution-NonCommercial 4.0 International

搜集汇总

背景与挑战

背景概述

该数据集名为Draw-and-Understand，是一个多领域视觉提示指令调优数据集，专注于图像模态和英语语言，用于训练和评估多模态大语言模型。它包含点级和区域级理解数据，旨在通过视觉提示增强模型对图像中特定区域的理解能力，支持任务如文本生成和图像到文本转换，并基于CC-BY-NC-4.0许可证发布。