Unison

Unison是由复旦大学研究团队构建的综合性统一多模态基准数据集，旨在评估统一多模态模型在理解与生成任务中的协同能力。该数据集包含2,169个经过人工验证的高质量统一任务样本，覆盖内部一致性、理解引导生成、生成引导理解及相互增强四个核心维度，数据来源于精心设计的图像-文本对及复杂指令。数据集通过系统化流程构建，强调语义对齐与任务交互，主要应用于评估多模态大模型在联合理解与生成场景下的性能，解决现有模型在协同任务中能力割裂的关键问题。Unison is a comprehensive unified multimodal benchmark dataset developed by the research team from Fudan University, which aims to evaluate the collaborative capabilities of unified multimodal models in understanding and generation tasks. This dataset includes 2,169 high-quality unified task samples manually verified, covering four core dimensions: internal consistency, understanding-guided generation, generation-guided understanding, and mutual enhancement. The data comes from carefully designed image-text pairs and complex instructions. The dataset is constructed via a systematic workflow, with emphasis on semantic alignment and task interaction. It is mainly used to assess the performance of multimodal large language models in joint understanding and generation scenarios, solving the critical issue of capability fragmentation of existing models in collaborative tasks.

原始信息汇总

数据集概述：Unison

Unison 是一个用于评估统一多模态模型（Unified Multimodal Models, UMMs）的基准测试数据集，旨在通过协同理解与生成任务来全面衡量模型性能。该项目由复旦大学（Fudan University）的研究团队开发，相关论文已被 ICML 2026 接收。

核心评估维度

Unison 从四个关键维度评估统一多模态模型（UMMs）：

• Internal Consistency（内部一致性）：评估模型在理解和生成任务各自内部的性能一致性。
• Und.-Guided Gen.（理解引导生成）：评估模型基于理解能力来指导生成任务的效果。
• Gen.-Guided Und.（生成引导理解）：评估模型利用生成能力来提升理解任务的效果。
• Mutual Enhancement（相互增强）：评估理解与生成任务之间的协同增效作用。

每个维度都分别报告了理解（Und.）、生成（Gen.）和综合（Uni.）三个方面的分数。

数据集结构

数据集可于 HuggingFace - FudanCVL/Unison 下载，期望的文件结构如下：

Unison/ └── data/ ├── Internal_Consistency/ ├── Und_Guided_Gen/ ├── Gen_Guided_Und/ └── Mutual_Enhancement/

评估工具：Unison-Judge

• Unison-Judge 是该项目提供的自动化评估模型，基于 Qwen3-VL 构建。
• 该评估器与人类判断的对齐度（accuracy）达到 88.7%。
• 其模型权重可在 HuggingFace - FudanCVL/Unison-Judge 获取。

评估结果摘要

以下是部分模型在 Unison 基准上的整体表现（Overall 分数），完整结果可查阅项目主页或论文。

开源模型（部分）：

• BAGEL (14B)：53.2 (🥇)
• OmniGen2 (7B)：51.3 (🥈)
• UniWorld-V1 (19B)：42.1 (🥉)
• ILLUME+ (7B)：11.7
• SEED-X (17B)：19.9

闭源模型：

• GPT-5.2：71.3
• Gemini 3 Pro：69.8

搜集汇总

数据集介绍

构建方式

Unison的构建是一个多阶段、高质量的数据生产流程。首先，研究人员从LAION-Aesthetics、RefCOCOg等多样化的数据源中筛选出图像材料，并利用Qwen-Image和OpenCV分别生成文本到图像及空间推理所需的视觉内容。接着，通过GPT-5.2与Gemini 3 Pro等模型生成初始标注与指令，再经由Davidsonian Scene Graph框架与Qwen3-VL模型自动产出复杂的视觉问答与属性问题。随后，运用SAM 3对目标对象进行精确分割标注，并由人工专家团队进行为期三周的精校，包括核查图像-文本对齐、修正推理链与剔除歧义样本，最终形成包含2,169个高质量样本的综合基准。

特点

Unison的核心亮点在于从四个新维度全方位评估统一多模态模型的协同能力。第一，内部一致性衡量模型对同一文本的描述理解与自主生成的图像在细粒度属性上的对齐程度。第二，理解引导生成评估模型利用自身推理结果来指导编辑或生成任务的能力。第三，生成引导理解探究模型通过合成图像作为视觉代理来辅助复杂推理的效果。第四，相互增强检验模型在多轮迭代中通过交替理解与生成进行自我修正的潜力。此外，Unison支持联合与解耦两种评估模式，能精细归因模型失败原因，并配套了与人类判断高度对齐的自动化评估模型Unison-Judge。

使用方法

研究者可通过Unison对现有的统一多模态模型（如OmniGen2、BAGEL、Gemini 3 Pro等）进行标准化测评。使用时，模型需遵循统一的输入输出格式，图像分辨率固定为512×512。对于内部一致性与生成引导理解任务，模型需先进行文本到图像的生成，随后基于生成的图像回答属性级问题，通过对比答案一致性计算得分。在理解引导生成与相互增强任务中，模型需依次执行推理定位与图像编辑，或进行多轮检测-修正循环，系统记录每轮得分并计算累积增益。实验一般设定最大迭代轮数为5轮，模型若认为无错误可提前终止。最终各维度加权平均得到模型全面的协同能力评分。

背景与挑战

背景概述

随着多模态大语言模型在复杂推理任务中展现卓越的理解能力，以及扩散模型在图像生成中达到前所未有的保真度，将理解与生成能力整合于单一框架的统一多模态模型成为了研究前沿。2026年，复旦大学可信具身智能研究院与上海市多模态具身智能重点实验室的Jinyu Liu、Xincheng Shuai、Henghui Ding及Yu-Gang Jiang联合发布了Unison基准数据集。该数据集的核心研究问题在于：现有评估体系往往将理解与生成能力割裂考察，忽视了二者间的协同效应。Unison包含2,169个高质量统一任务样本，系统性地将统一能力解构为内部一致性、理解引导生成、生成引导理解及相互增强四个维度。这一创新性设计不仅为统一多模态模型提供了首个全方位评估框架，更深刻揭示了当前模型在语义对齐与自洽性方面的关键局限，对推动多模态人工智能从分立式评估迈向协同式评测具有里程碑式的影响。

当前挑战

Unison着力解决了统一多模态模型评估中由于理解与生成能力解耦所引发的根本性领域挑战。传统基准如MMBench与GenEval各自独立测评理解或生成，忽视了二者在统一架构中的互促关系，而Unison通过构建跨维度的协同评测范式，精准捕捉了模型内部语义表征的一致性缺口。在构建过程中，挑战尤为严峻：需融合从LAION-Aesthetics筛选的高质量图源、借助GPT-5.2与Gemini 3 Pro生成精细指令，再经SAM 3实现像素级分割，随后由十位专家历经三周验证以修正逻辑矛盾与指令歧义。每一维度的任务设计——如3D空间推理中的立方体折叠模拟、自修正编辑中的多轮反馈迭代——均要求样本在复杂性与语义保真度间达成微妙平衡，最终构建出高难度的诊断性评测体系。

常用场景

经典使用场景

Unison的核心使用场景在于系统性评估统一多模态模型（UMMs）中理解与生成能力的协同关系。与传统评测割裂地考察视觉问答或图像生成不同，Unison设计了四大评测维度：内部一致性（Internal Consistency）检验模型对同一场景的理解与生成在语义层面是否对齐；理解引导生成（Understanding-Guided Generation）评估模型借助自身推理能力辅助图像编辑的准确性；生成引导理解（Generation-Guided Understanding）探讨模型通过合成视觉内容反哺复杂推理任务的效果；以及相互增强（Mutual Enhancement）衡量模型在迭代自反馈中实现自我修正的能力。该框架支持联合与解耦两种评测模式，可对模型的融合与独立能力进行细粒度诊断。

衍生相关工作

Unison的提出直接催生了一系列后续研究方向的拓展。首先，其内部一致性概念启发了训练阶段引入显式一致性约束的方法，通过惩罚理解与生成间的语义偏差来增强模型自对齐能力，有效减轻幻觉与错误累积问题。其次，基于理解引导与生成引导维度的协同效应，研究者开始探索面向统一模型的自信任机制（如使用生成结果作为理解任务的验证信号，或反之），从而构建无需外部监督的自反馈闭环。再次，Unison提供的细粒度诊断数据为开发更高效的奖励模型（如Unison-Judge）提供了基准，推动了面向多模态任务的人机对齐评测技术。此外，受其相互增强评测的启发，自主智能体规划与自博弈训练策略逐渐成为提升模型迭代能力的热门方向。

数据集最近研究

最新研究方向

在统一多模态模型（UMM）领域，前沿研究正从孤立的视觉理解或图像生成能力评估，转向对理解与生成协同效应的深层探索。Unison基准应运而生，它创新性地将统一能力解构为内在一致性、理解引导生成、生成引导理解与互增强四个维度，系统性地揭示了当前模型在语义内对齐与自主迭代优化上的根本性局限。这一框架不仅为诊断模型在多模态任务中的失效模式提供了精细化的归因分析工具，更通过引入人类对齐的评估模型Unison-Judge，推动了评测标准从粗粒度的特征相似度向语义与偏好一致性的范式跃迁，为构建更鲁棒、更自洽的统一多模态架构指明了关键路径。

相关研究论文

• Unison: Benchmarking Unified Multimodal Models via Synergistic Understanding and Generation

  复旦大学·可信具身智能研究院; 复旦大学·大数据研究院·计算机科学与人工智能学院 · 2026年