FudanCVL/Unison

Unison 是一个包含 2,169 个高质量统一任务样本的综合性基准，旨在评估统一多模态模型中的联合理解和生成能力。Unison is a comprehensive benchmark comprising 2,169 high-quality unified task samples, designed to evaluate joint understanding and generation in unified multimodal models.

搜集汇总

数据集介绍

构建方式

Unison基准数据集精心构建了2169个高质量、统一化的任务样本，旨在全面评估统一多模态模型的联合理解与生成能力。其任务体系涵盖四项核心评估维度：内部一致性（IC）、理解引导生成（UGG）、生成引导理解（GGU）以及相互增强（ME）。数据构建过程中，IC任务包含556个生成提示与对应的yes/no视觉问答对；UGG任务提供543个基于区域框或掩码的接地生成样本；GGU任务细分为2D空间、3D空间及复杂关系三个子类别；ME任务则设计了264组多轮迭代样本，用于检验模型在理解与生成间的相互修正能力。

特点

Unison的显著特点在于其精细化的任务分层与丰富的评估维度。IC任务关注模型内部理解与生成的对齐程度，UGG与GGU分别考察理解如何引导生成以及生成如何辅助理解，而ME则模拟了多轮交互中理解与生成的协同优化过程。数据集涵盖从简单视觉问答到复杂空间关系推理的多样化场景，并提供了详细的字段注释，如UGG中的bbox、mask与operation标注，以及GGU中无源图像的重构式样本，确保了评估的全面性与可复现性。

使用方法

使用Unison时，研究者需依据任务目录加载对应数据。IC任务中，prompts.txt与questions.json通过prompt_<N>键值关联；UGG任务需解析JSON中的image_path、bbox和operation字段以执行接地编辑；GGU任务根据子类别目录加载图像，且Complex_Relation子集需从描述与验证问题重建；ME任务则利用mutual_enhancement/images/下的图像与ME.json中的多轮样本进行迭代评估。数据集的路径结构清晰，所有字段均经过精确注释，便于直接集成到模型训练与评估流程中。

背景与挑战

背景概述

Unison是一个由复旦大学计算机视觉实验室（FudanCVL）于2023年创建的综合性基准数据集，包含2169个高质量的统一任务样本，旨在评估统一多模态模型中理解与生成的联合能力。随着多模态大模型在图像描述、视觉问答等任务中取得显著进展，现有基准往往单独评测理解或生成能力，难以反映模型在复杂交互场景下的协同表现。Unison聚焦于多模态模型内部一致性的评估，通过四种任务维度——内部一致性、理解引导生成、生成引导理解及相互增强，系统性地衡量模型在理解与生成之间的对齐与协同能力，为多模态统一模型的发展提供了关键的评价标准，对该领域研究具有重要影响力。

当前挑战

Unison解决的领域核心挑战在于多模态模型在联合理解与生成任务中面临的内在对齐难题。现有模型往往在生成与理解任务中表现出明显的性能不平衡，缺乏对两者协同关系的有效度量。具体挑战包括：难以设计能同时捕捉理解与生成交互关系的评测任务，以及如何构建反映模型内部一致性而非表面性能的样本。在构建过程中，研究者面临数据标注的复杂性，需要为每项任务精确地定义区域标注、操作类型及验证问题，同时确保样本覆盖多样化的空间关系与交互场景，这对数据规模、标注一致性及任务设计的合理性提出了极高要求。

常用场景

经典使用场景

Unison数据集专为评估统一多模态模型的联合理解与生成能力而设计，其核心应用场景在于系统性地衡量模型在内部一致性、理解引导生成、生成引导理解以及相互增强四个维度的表现。研究人员常利用该数据集对视觉语言模型进行多任务基准测试，通过其包含的2169个高质量统一任务样本，全面诊断模型在多模态交互中的协同能力缺陷，从而推动模型从单一模态处理向深度融合的方向演进。

解决学术问题

Unison数据集解决了当前多模态研究中理解与生成任务割裂评估的学术难题。传统基准多聚焦于单一能力，忽视了二者间的内在关联与相互促进关系。该数据集通过设计内部一致性等四项核心任务，首次实现了对模型跨模态对齐与动态协同能力的量化分析。这一创新填补了联合评估的理论空白，为探究多模态大模型的行为规律、认知机理及优化方向提供了标准化工具，深刻影响了统一多模态模型的可解释性与系统性改进研究。

衍生相关工作

基于Unison数据集，学术界已衍生出多项具有影响力的工作。一方面，研究者以此作为评估基准，提出了面向统一多模态模型的新型训练范式，如对比协同学习与循环一致性正则化方法；另一方面，该数据集激发了对内部一致性建模的深入探索，催生了跨模态反馈机制与迭代精炼架构等经典模型。这些工作均以Unison提供的标准化评估框架为起点，进一步拓展了多模态联合感知与生成的边界，奠定了该领域后续研究的基石。