Unison

Unison是一个综合性基准数据集，包含2,169个高质量的统一任务样本，旨在评估统一多模态模型中的联合理解与生成能力。该数据集围绕四个核心任务构建：内部一致性（IC），衡量理解与生成之间的内部对齐；理解引导生成（UGG），评估模型利用理解来指导上下文生成的能力；生成引导理解（GGU），探究合成输出如何辅助理解任务；相互增强（ME），通过多轮迭代协同，使理解识别生成错误，反之亦然，实现相互优化。数据内容涵盖文本提示、问题对、图像以及基于区域的编辑操作，具体组织为四个主要目录：Internal_Consistency（包含556个生成提示、对应的是/否视觉问答和参考图像）、Und_Guided_Gen（包含543个基于图像的生成项目，涉及边界框/掩码和操作类型）、Gen_Guided_Und（进一步分为2D空间、3D空间和复杂关系三个子类别，共542个项目）以及Mutual_Enhancement（包含264行数据，对应528个样本和源图像）。数据集适用于多模态人工智能模型的基准测试，特别是在需要联合处理视觉与语言理解、生成及其交互的任务中。Unison is a comprehensive benchmark dataset containing 2,169 high-quality unified task samples, designed to evaluate joint understanding and generation capabilities in unified multimodal models. The dataset is built around four core tasks: Internal Consistency (IC), which measures the internal alignment between understanding and generation; Understanding-Guided Generation (UGG), which assesses the models ability to leverage understanding to guide contextual generation; Generation-Guided Understanding (GGU), which explores how synthetic outputs can assist understanding tasks; and Mutual Enhancement (ME), which enables mutual optimization through multi-round iterative collaboration, where understanding identifies generation errors and vice versa. The data content includes text prompts, question pairs, images, and region-based editing operations, organized into four main directories: Internal_Consistency (containing 556 generation prompts, corresponding yes/no visual question-answering, and reference images), Und_Guided_Gen (containing 543 image-based generation projects involving bounding boxes/masks and operation types), Gen_Guided_Und (further divided into three subcategories: 2D spatial, 3D spatial, and complex relationships, totaling 542 projects), and Mutual_Enhancement (containing 264 rows of data, corresponding to 528 samples and source images). The dataset is suitable for benchmarking multimodal AI models, particularly in tasks requiring joint processing of visual and language understanding, generation, and their interactions.

搜集汇总

数据集介绍

构建方式

Unison基准数据集由2169个高质量的统一任务样本构成，旨在评估统一多模态模型的联合理解与生成能力。该数据集通过精心设计的多任务架构构建，覆盖内部一致性（IC）、理解引导生成（UGG）、生成引导理解（GGU）及相互增强（ME）四大核心任务。IC任务包含556个生成提示及其对应的参考图像和是非问答对，用于评测模型理解与生成间的内部对齐；UGG任务提供543个基于区域的编辑样本，明确标注了边界框、掩码及操作类型，以检验模型在理解引导下的生成效果；GGU任务细分为2D空间、3D空间及复杂关系三个子类别，共计542个样本，评估生成输出如何辅助空间理解；ME任务则包含264组多轮迭代样本，模拟理解与生成间的协同优化过程。

特点

Unison数据集的核心特色在于其多维度、系统性的评价体系，即通过四个互补任务全面衡量统一多模态模型的联合能力。IC任务聚焦于模型内部的表征一致性，UGG与GGU任务分别从理解到生成及生成到理解的双向路径进行评测，而ME任务则探索了多轮交互中的动态增强机制。数据集样本覆盖广泛，包含图像生成、区域编辑、空间关系推理及迭代优化等场景，且各任务均配有精细的字段注释，如IC中的提示与问题映射、UGG中的操作类型定义，确保了评测的精确性和可重复性。这种结构化设计使得Unison能够深入诊断模型在联合理解与生成中的协同缺陷。

使用方法

Unison数据集的使用遵循清晰的目录布局与字段规范。IC任务中，研究者需依据prompts.txt中的生成提示索引，通过questions.json中的映射键值获取相应的图像生成问题，并结合images目录下的参考图像进行一致性评估。UGG任务则要求模型根据JSON文件中的image_path、bbox、mask及operation字段执行区域生成操作，并验证输出与预期编辑的一致性。GGU任务按子类别组织，其中2D与3D空间样本包含源图像，而复杂关系样本需从描述和验证问题中重建，以测试零样本理解能力。ME任务支持多轮对话设计，通过交替执行理解与生成步骤，利用ME.json中的配对样本模拟迭代优化流程，最终评估模型的动态协同性能。

背景与挑战

背景概述

多模态大模型近年来在处理视觉与语言信息的联合任务上取得了令人瞩目的进展，然而现有评测基准多聚焦于单一方向的能力，如仅评估理解或仅评估生成。为弥合这一缺口，Unison数据集应运而生，由研究团队于近期创建，旨在系统性地衡量多模态模型在统一框架下同时进行理解与生成的能力。该基准包含2,169个精心设计的高质量样本，覆盖内部一致性、理解引导生成、生成引导理解以及相互增强四个核心任务维度。Unison的提出为多模态模型的综合能力评估提供了全新视角，推动领域向更全面、更契合实际应用需求的方向发展。

当前挑战

Unison所挑战的核心领域问题是多模态模型在理解与生成之间协同能力的量化评估难题，传统基准往往割裂看待这两类能力，难以反映模型在真实场景中所需的综合表现。在数据集构建过程中，挑战体现在任务设计的复杂性与样本质量的一致性把控上，例如如何界定理解与生成的内部一致性标准、如何设计客观且可自动验证的多轮交互评估任务（如相互增强任务），以及如何确保各任务样本规模均衡以避免评估偏差。这些挑战要求数据集在精细标注、任务定义严谨性以及跨领域泛化性上达到高度平衡。

常用场景

经典使用场景

Unison数据集作为多模态统一模型的评估基准，其经典使用场景聚焦于衡量模型在理解与生成任务间的协同能力。具体而言，研究者利用其内部一致性（IC）任务验证模型对生成内容的自我认知是否准确，通过理解引导生成（UGG）测试模型如何将语义理解转化为可控的视觉编辑，借助生成引导理解（GGU）评估合成视觉内容对空间关系推理的增强效果，并运用相互增强（ME）任务探查模型在多轮交互中是否能够实现理解与生成的循环纠错与互促。

衍生相关工作

Unison数据集的推出催生了一系列专注于多模态统一模型评测与优化的研究工作。后续研究者借鉴其任务分解思路，构建了跨领域的一致性评估基准，并开发了面向理解与生成互促进的模型架构，如引入反馈循环机制的视觉语言模型。此外，Unison所倡导的评估范式也被用于比较不同模型在闭环任务上的差异，推动了多模态大模型向更全面的认知能力方向发展。

数据集最近研究

最新研究方向

Unison数据集聚焦于统一多模态模型的联合理解与生成能力评估，开创性地将内部一致性（IC）、理解引导生成（UGG）、生成引导理解（GGU）及互促增强（ME）四类任务整合为系统性基准。其2169个高质量样本突破了传统单一任务评测的局限，揭示了多模态大模型在语义对齐与迭代协同中的深层瓶颈。该基准与当前多模态基础模型从感知向认知跃迁的前沿趋势相呼应，通过量化理解与生成之间的双向赋能关系，为构建自洽且可演进的多模态智能系统提供了关键评估范式，直接推动多模态AI向更接近人类认知闭环的方向发展。