Counterfactual-World (CF-World)

Counterfactual-World（CF-World）是由上海交通大学、上海人工智能实验室及香港中文大学联合构建的因果推理评估基准，旨在系统检验文本到图像生成模型在反事实场景下的逻辑演绎能力。该数据集包含1,091个场景组，总计3,273条提示词，涵盖物理、生物、化学、地理和社会学五大核心学科，数据通过人工筛选基础科学原理并结合大语言模型生成。其创新性在于设计了三层渐进式评估框架（事实层、显式反事实层、隐式反事实层），以剥离模型对训练数据统计先验的依赖，专门用于探究模型在违背现实世界规律的假设下进行因果推理与图像合成的潜力。Counterfactual-World (CF-World) is a causal reasoning evaluation benchmark jointly developed by Shanghai Jiao Tong University, Shanghai AI Laboratory, and The Chinese University of Hong Kong. It aims to systematically evaluate the logical deduction capabilities of text-to-image generation models in counterfactual scenarios. This dataset includes 1,091 scenario groups, totaling 3,273 prompts, covering five core disciplines: physics, biology, chemistry, geography, and sociology. The data is generated by first manually screening basic scientific principles and then leveraging large language models (LLMs). Its core innovation lies in the design of a three-layer progressive evaluation framework, namely the Fact Layer, Explicit Counterfactual Layer, and Implicit Counterfactual Layer, which is intended to eliminate the model's reliance on statistical priors from training data and is specifically dedicated to exploring the potential of models to perform causal reasoning and image synthesis under assumptions that violate the laws of the real world.

搜集汇总

数据集介绍

构建方式

CF-World基准数据集旨在系统评估文本到图像模型的反事实因果推理能力。其构建始于对涵盖物理、生物、化学、地理和社会学五大学科的中学科普定律进行人工整理。随后，利用大型语言模型为每条定律生成三类递进提示：事实性提示遵循真实世界规律，显式反事实提示明确陈述定律改动后的视觉结果，隐式反事实提示仅提供改动后的定律，要求模型自主推理出视觉后果。每类提示均附带一个定制的评估点作为自动评分的关键判据。最终，经过专家人工审核与过滤，确保所有提示与评估点具备视觉明确性、逻辑推理性、安全性和科学有效性，形成包含1091个场景、共计3273条提示的基准数据集。

特点

CF-World的核心特点在于其渐进式的三级框架设计，能够系统性地将真正的逻辑演绎与统计记忆区分开来。该基准首创性地引入了两个量化指标：先验抵抗率衡量模型在获得显式反事实指令时克服固有真实世界先验的能力，推理保持率则评估模型在缺少显式视觉线索时维持反事实生成的能力。数据集覆盖了从经典力学到社会学的广泛学科，但所有领域知识均控制在中学水平，确保模型的失败更可能反映其在反事实规则理解上的局限而非专业知识的匮乏。此外，每项测试均附带精准的评估点，为自动化评估提供决定性视觉准则。

使用方法

使用CF-World时，研究者首先将三级提示分别输入待评估的文本到图像模型进行生成。随后，采用基于视觉语言模型的自动化评估流水线CF-Eval对生成图像进行多维度评分，涵盖视觉完整性、评估点符合度以及逻辑一致性三个维度，并依据加权平均计算综合得分。为确保反事实评估的有意义性，需引入条件阈值机制：仅当模型在事实基础水平上达到阈值后方计算反事实分数，否则归零。最终，通过计算先验抵抗率与推理保持率两个指标，量化模型在克服先验与自主推理方面的表现，客观反映其反事实因果推理能力的强弱。

背景与挑战

背景概述

随着文本到图像生成模型在视觉真实感方面取得令人瞩目的进展，一个根本性问题逐渐浮现：这些模型的成功究竟源于对物理世界的因果性理解，还是仅仅依赖训练数据中高频出现的视觉-文本关联模式？受罗素归纳火鸡悖论的启发，来自上海交通大学、上海人工智能实验室和香港中文大学的研究团队于2026年提出Counterfactual-World（CF-World）基准。该工作旨在系统性地评估当前主流文本到图像模型的反事实因果推理能力，填补现有评估基准仅关注常识场景、难以区分统计记忆与真正逻辑演绎的空白。CF-World涵盖物理学、生物学、化学、地理学和社会学五大领域，通过三级渐进式框架（事实层、显式反事实层、隐式反事实层）对模型进行严格测试，为理解和推动生成模型的因果推理能力提供了关键评估工具。

当前挑战

CF-World基准所揭示的核心挑战聚焦于模型在高维统计先验下的反事实生成能力。在领域问题层面，当前所有模型在从事实场景过渡到显式反事实场景时性能急剧下降，其Prior Resistance Rate（PRR）普遍低于0.5，表明模型深陷于训练数据中的高频常识先验，无法将客观世界知识与默认场景解耦。更为严峻的是，在缺乏明确视觉线索的隐式反事实场景中，模型的Reasoning Retention Rate（RRR）进一步降低，暴露出自主因果演绎能力的严重缺失。在基准构建过程中，研究团队面临的多重挑战包括：确保反事实设定在科学上有效且可视觉化、生成无歧义的评估要点以支撑自动化评分、以及建立可靠的人工审核机制以剔除边界模糊的案例。最终的实验诊断表明，模型失败的根本瓶颈不在于视觉属性重组能力不足，而在于其无法对更高层级的生成规则进行解耦与推理。

常用场景

经典使用场景

在文本到图像生成领域，CF-World最为经典的使用场景是作为反事实因果推理的评估基准。该数据集通过精心设计的渐进式三层次框架（事实层、显式反事实层、隐式反事实层），系统性地检测生成模型是否具备超越统计共现模式的真正因果理解能力。研究者可利用CF-World对不同架构的T2I模型进行标准化压力测试，观察其在违反真实世界物理法则的指令下能否正确生成符合新规则的可视化结果。这种渐进式设计使得评估能够有效区分模型是依赖训练数据中的高频模式进行模式匹配，还是真正执行了逻辑推导，从而为衡量生成模型的认知层级提供了科学可靠的实验范式。

衍生相关工作

CF-World的提出催生了一系列富有启发性的衍生工作。其一是在模型分析层面，研究者基于该数据集的机制性诊断结果，提出了因果解耦与属性解耦的双轴分析框架，深入揭示了当前T2I模型在高维统计先验约束下无法解耦规则与视觉属性的根本原因。其二是在方法论层面，针对反事实推理瓶颈，后续工作探索了文本侧链式推理（CoT）与视觉侧去名词化策略的结合，尝试从不同层面解耦先验知识。其三是在评估体系层面，CF-World引入了先验抵抗率（PRR）和推理保持率（RRR）两项量化指标，这些指标已被后续研究采纳并拓展至更广泛的多模态推理能力评估中，形成了系统化评估因果推理能力的方法论基石。

数据集最近研究

最新研究方向

当前文本到图像生成模型的前沿研究方向正聚焦于反事实因果推理能力的系统性评估。随着扩散模型与自回归架构在视觉生成上取得突破，学界日益关注这些模型是否真正具备因果理解而非依赖统计模式匹配。CF-World基准采用三级递进框架——从事实生成、显式反事实到隐式反事实推理——首次揭示了模型在违背现实先验规则时的严重性能退化。研究表明，现有模型因将世界知识与视觉外观编码为紧密耦合的模式，在需要独立因果变量解耦的操作中暴露出结构性缺陷，其失败根源在于无法分离高层生成规则与视觉属性，这标志着评估范式从单纯的视觉质量向深层认知机制的重要转向。

相关研究论文

• Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning

  上海交通大学; 上海人工智能实验室; 香港中文大学 · 2026年