Unison

Unison是一个用于评估统一多模态模型（UMMs）的基准数据集，通过理解与生成之间的协同作用，涵盖四个维度。Unison-Judge自动评估模型与人类判断的一致性达到88.7%。Unison is a benchmark dataset for evaluating Unified Multimodal Models (UMMs), which encompasses four dimensions focused on the synergy between comprehension and generation. Unison-Judge automatically achieves an 88.7% consistency rate between model evaluations and human judgments.

原始信息汇总

数据集概述：Unison

• 全称: Unison: Benchmarking Unified Multimodal Models via Synergistic Understanding and Generation
• 机构: 复旦大学 (Fudan University)
• 发表会议: ICML 2026
• 核心目的: 评估统一多模态模型 (UMMs) 的理解与生成协同能力。

数据集任务与维度

Unison 基准从四个维度评估模型协同理解和生成的能力：

1. 内部一致性 (Internal Consistency, IC): 评估模型在理解和生成任务上各自的表现一致性。
2. 理解引导生成 (Understanding-Guided Generation, UGG): 评估模型在理解任务上的表现如何引导生成任务。
3. 生成引导理解 (Generation-Guided Understanding, GGU): 评估模型在生成任务上的表现如何引导理解任务。
4. 相互增强 (Mutual Enhancement, ME): 评估模型的理解和生成任务能否相互促进。

每个维度下均包含对 理解 (Und.)、生成 (Gen.) 和 统一 (Uni.) 三项具体指标的评估。

数据集规模与组成

数据集包含以下四个目录，分别对应四个评估维度：

• Internal_Consistency/
• Und_Guided_Gen/
• Gen_Guided_Und/
• Mutual_Enhancement/

模型评估结果

开源统一多模态模型

模型	参数规模	内部一致性 (Uni.)	理解引导生成 (Uni.)	生成引导理解 (Uni.)	相互增强 (Uni.)	总体 (Overall)
BAGEL	14B	80.3	67.9	32.0	32.5	53.2
OmniGen2	7B	74.5	52.0	30.9	47.7	51.3
UniWorld-V1	19B	65.1	44.9	26.9	31.3	42.1
ILLUME+	7B	16.7	11.4	13.9	4.8	11.7
SEED-X	17B	34.2	16.1	20.8	8.5	19.9

• 完整结果包括 Show-o, Janus-Pro, Show-o2, D-DiT, ILLUME+ (3B), TokenFlow 等不同规模模型。

闭源模型

模型	内部一致性 (Uni.)	理解引导生成 (Uni.)	生成引导理解 (Uni.)	相互增强 (Uni.)	总体 (Overall)
Gemini 3 Pro	86.9	76.9	43.9	71.4	69.8
GPT-5.2	84.7	77.7	52.7	70.2	71.3

自动评估工具：Unison-Judge

• 模型: Unison-Judge (基于 Qwen3-VL 构建)
• 与人类判断的对齐率: 88.7%
• 获取方式: 可从 Hugging Face 下载。

数据获取与使用

• 数据集地址: Hugging Face - FudanCVL/Unison
• 下载命令: huggingface-cli download FudanCVL/Unison --repo-type dataset --local-dir data/
• 推理与评估代码: 提供完整的推理和评估脚本，位于 Inference_Pipeline 和 Evaluation_Pipeline 目录下。
• 模型权重下载: 提供 download_weights.sh 脚本。

引用

bibtex @inproceedings{liu2026unison, title = {{Unison}: Benchmarking Unified Multimodal Models via Synergistic Understanding and Generation}, author = {Liu, Jinyu and Shuai, Xincheng and Ding, Henghui and Jiang, Yu-Gang}, booktitle = {International Conference on Machine Learning}, year = {2026} }

搜集汇总

数据集介绍

构建方式

Unison数据集旨在全面评估统一多模态模型（UMMs）在理解与生成任务上的协同能力。构建过程围绕四个核心维度展开：内部一致性、理解引导生成、生成引导理解以及相互增强。每个维度均设计了对应的评测任务，覆盖图像理解、图像生成、编辑等多种模态交互场景。数据集的标注由人工完成，并辅以自动化的质量校验流程，确保样本的多样性和任务挑战性。最终形成的Unison-Bench包含大量高质量的多模态问答对和生成指令，为系统性评测提供了坚实基础。

特点

Unison数据集的突出特点在于其测评维度的协同性和全面性。不同于以往仅关注单一理解或生成能力的基准，Unison通过四维任务设计，深入探索理解与生成之间的双向交互关系。数据集涵盖开源与闭源模型，并提供了Unison-Judge自动评估模型，其评估结果与人类判断的一致性高达88.7%，确保了评测的可靠性与可复现性。此外，数据集结构清晰，按任务类型划分目录，便于研究者进行模块化分析与对比。

使用方法

使用Unison数据集首先需从HuggingFace下载Unison-Bench数据，并将其放置在项目根目录的data/文件夹下。随后按照文档配置推理环境，通过setup_envs.sh脚本为不同模型搭建独立的conda环境，并下载对应权重。推理阶段通过run.sh脚本指定模型、任务类型（如IC、UGG）及GPU数量，结果以CSV格式保存。评估阶段则运行run_evaluate_unison.sh脚本，可使用本地Unison-Judge模型或闭源API进行评分，最终通过aggregate_results.py脚本汇总得到模型的综合表现评估报告。

背景与挑战

背景概述

近年来，多模态大模型的研究呈现出理解能力与生成能力深度融合的趋势，催生了统一多模态模型（UMMs）这一新兴范式。然而，现有基准评测往往将理解与生成割裂评估，难以揭示二者在协同任务中的交互表现。为填补这一空白，复旦大学刘金宇、帅鑫成、丁恒辉和姜育刚教授团队于2026年创建了Unison基准，旨在从内在一致性、理解引导生成、生成引导理解及相互增强四个维度，系统评测UMMs的协同理解与生成性能。该基准涵盖十余款开源模型及多款闭源模型，并配套研发了Unison-Judge自动评估模型，其与人类判断的一致性高达88.7%，显著推动了多模态协同评估领域的标准化进程。

当前挑战

Unison基准所应对的核心挑战在于，现有模型多在理解与生成间存在显著性能失衡，而传统评测体系无法量化这种割裂。具体挑战包括：1）理解与生成的内在一致性难以衡量——许多模型在独立理解或生成任务上表现优异，但在同一输入输出空间中的协同任务，如理解引导生成或生成引导理解，性能急剧下降；2）相互增强任务中，理解与生成的正向反馈效应建模困难，现有模型普遍缺乏双向增益能力，如开源模型总体得分多低于20%；3）构建过程中，需为四类任务精心设计对抗性样本与配对数据，确保评测既涵盖视觉感知与语言推理的交叉场景，又能反映模型在不同规模下的泛化边界，对数据标注的精细度和多样性提出了极高要求。

常用场景

经典使用场景

在统一多模态模型蓬勃发展的浪潮中，如何全面且公允地评估模型在理解与生成两大核心能力上的协同表现，成为该领域亟待解决的关键瓶颈。Unison数据集应运而生，其经典使用场景在于构建一套涵盖内部一致性、理解引导生成、生成引导理解及相互增强四个维度的综合性评测框架。通过精心设计的任务样本，该数据集能够精准衡量模型在视觉与语言模态间实现协同推理与创作的能力，特别适用于评估如BAGEL、OmniGen2等前沿统一多模态模型的整体性能。

解决学术问题

Unison数据集有效解决了现有评测基准中理解与生成任务相互割裂、缺乏对两者协同效应系统评估的学术难题。传统基准往往分别测试视觉理解或视觉生成能力，而Unison通过引入协同互惠的评测视角，揭示了模型在理解与生成任务间内部一致性、引导作用及相互增强等方面的深层缺陷。该数据集的提出为多模态学习社区提供了一个标准化的评估坐标系，显著推动了对统一多模态模型内在瓶颈的认知，并激励研究者设计出在视觉与语言之间真正实现良性互动的创新架构。

衍生相关工作

基于Unison数据集所揭示的评测视角，衍生出一系列旨在提升理解与生成协同效果的重要研究工作。其中，Unison-Judge作为配套的自动评估模型，凭借与人类判断高达88.7%的一致性，为大规模自动化评测提供了坚实工具。此外，诸如BAGEL通过精细化的架构设计在内部一致性与理解引导生成指标上取得突破，以及OmniGen2、UniWorld等方法在相互增强维度展现出的优异性能，均直接受益于Unison数据集的诊断性分析，这些工作共同推动了统一多模态领域从分立式建模迈向协同式融合的范式转换。