PhyEditBench

PhyEditBench是一个真实世界的多阶段基准，用于评估物理感知图像编辑。它包含238个高质量真实世界实例和35个合成反物理实例，覆盖4个主要物理类别和12个子类，包括变形与断裂、流体动力学、刚体交互以及状态变化与环境效应。每个真实世界实例组织为四状态物理轨迹——输入、中间状态1、中间状态2和输出，支持细粒度逐步评估和整体全局编辑评估。模型在五种设置下测试：连续状态之间的三个逐步编辑、一个使用聚合指令的多步编辑，以及一个从初始状态到最终状态的全局编辑。反物理案例进一步测试模型是否能遵循反事实物理规则，而不是依赖常见视觉先验。模型输出通过统一的基于VLM的评判器在四个指标上评估：一致性、指令遵循、物理合理性和图像质量，其中物理合理性权重最高，以强调物理一致的编辑。

PhyEditBench is a real-world multi-stage benchmark designed for evaluating physics-aware image editing. It comprises 238 high-quality real-world instances and 35 synthetic counter-physical instances, spanning 4 primary physics categories and 12 subcategories, namely deformation and fracture, fluid dynamics, rigid body interaction, as well as state changes and environmental effects. Each real-world instance is structured as a four-state physics trajectory: input, intermediate state 1, intermediate state 2, and output, enabling fine-grained step-by-step evaluation and holistic global editing assessment. Models are tested under five settings: three stepwise edits between consecutive states, one multi-step edit using aggregated instructions, and one global edit from the initial state to the final state. The counter-physical cases further test whether models can follow counterfactual physical rules instead of relying on common visual priors. Model outputs are evaluated on four metrics by a unified VLM-based evaluator: consistency, instruction following, physical plausibility, and image quality, with physical plausibility assigned the highest weight to emphasize physically consistent editing.

原始信息汇总

数据集概述：PhyEditBench

PhyEditBench 是一个面向物理感知图像编辑的真实世界多阶段基准测试集。

核心信息

• 数据规模：包含 238 个高质量真实世界实例 和 35 个合成反物理实例。
• 物理类别：覆盖 4 个主要物理类别 和 12 个子类，具体包括：
  • 变形与断裂 (Deformation & Fracture)
  • 流体动力学 (Fluid Dynamics)
  • 刚体交互 (Rigid-Body Interactions)
  • 状态变化与环境影响 (State Change with Environmental Effects)

数据结构

• 每个真实世界实例被组织为 四状态物理轨迹：输入 (input) → 中间状态 1 (intermediate 1) → 中间状态 2 (intermediate 2) → 输出 (output)。
• 评估设置：模型在五种设置下进行测试：
  • 逐步骤编辑 (Type A/B/C)：连续状态之间的三次编辑。
  • 多步骤编辑 (Type D)：使用聚合指令的编辑。
  • 全局编辑 (Type E)：从初始状态到最终状态的编辑。
• 反物理测试：专门设计以测试模型是否能够遵循反事实的物理规则，而非依赖常见的视觉先验。

评估指标

• 使用统一的基于 VLM 的评分器，从四个维度对模型输出进行评分（1-10分）：
  • 一致性 (Consistency)
  • 指令遵循 (Instruction Following)
  • 物理合理性 (Physical Plausibility)：权重最高。
  • 图像质量 (Image Quality)
• 总体得分为各指标的加权平均值。

数据集链接与资源

• 项目主页：https://github.com/Previsior/PhyEditBench
• 数据集 (Hugging Face)：https://huggingface.co/datasets/Previsior-PhyEdit/phyedit-bench
• 视频数据 (Hugging Face)：https://huggingface.co/datasets/Previsior-PhyEdit/phyedit-video
• 论文 (arXiv)：https://arxiv.org/abs/2606.26551
• 发布日期：2026年，已被 ECCV 2026 接收。

基准性能摘要

• 在评估的 14 个模型中，ChronoEdit-14B 以 8.51 的总体得分排名第一，Seedream4.0（8.47）和 GPT-Image-1.5（8.23）分列第二、三位。
• 各物理类别中，表现最佳的模型各有不同。例如，Fluid Dynamics 类别中 Seedream4.0 得分最高 (9.04)，而 Deformation & Fracture 类别中 ChronoEdit-14B 领先 (8.38)。

使用指南

• 数据存储：基准数据位于 bench 目录。常规样本按物理类别和子类组织。
• 评估运行：需要 Python 3.10+ 及 openai、pillow、tqdm 依赖。需设置 OpenAI API 密钥。
• 输出结构：生成的输出需按指定目录结构保存，包含模型名、物理类别、子类和评估类型 (Type A-E) 文件夹。
• 脚本：提供 gpt_eval.py（常规评估）和 gpt_eval_anti.py（反物理评估）脚本，输出 JSONL 和 JSON 格式的评分摘要。

搜集汇总

数据集介绍

构建方式

PhyEditBench是一个面向物理感知图像编辑的真实世界多阶段基准数据集。其构建从真实物理场景出发，精心采集了238个高质量的真实世界实例与35个合成反物理实例。每个实例被组织为包含输入、中间状态1、中间状态2和输出的四阶段物理轨迹。数据覆盖四大物理类别（变形与断裂、流体动力学、刚体交互、状态变化与环境）及12个子类。针对每个轨迹，提供了三条逐步编辑指令、一条聚合指令和一条全局指令，并附有物理解释与不变性描述，从而支撑细粒度的逐阶段评估与全局编辑评估。

特点

该数据集的核心特色在于其多阶段轨迹结构与物理感知评估导向。每个实例以四帧连续状态完整刻画物理过程，支持五种评测设置（三种逐步编辑、一种多步聚合、一种全局编辑），能够全面考察模型对物理变化过程的理解与生成能力。特别设计的反物理实例用于检验模型能否遵循反事实物理规则而不仅依赖视觉先验。评测采用统一的VLM打分裁判，从一致性、指令遵循、物理合理性与图像质量四个维度评分，其中物理合理性被赋予最高权重，凸显对物理连贯编辑的重视。

使用方法

使用PhyEditBench需将模型生成结果按特定目录结构存放：以模型名称建立顶层文件夹，下分物理主类别与子类文件夹，再按评测类型（TypeA至TypeE）存放输出图像，反物理实例单独存放。评估分为正常评测和反物理评测两部分，分别运行gpt_eval.py和gpt_eval_anti.py脚本，通过设置OpenAI API密钥调用VLM裁判对生成图像进行评分。脚本会输出包含各维度分数与类别细分的JSON结果文件，便于深入分析模型在不同物理场景下的表现差异。

背景与挑战

背景概述

PhyEditBench是由Shengbin Guo、Shaokang He等研究人员于2026年构建的基准数据集，被ECCV 2026接收。该数据集旨在评估指令引导图像编辑模型对物理规律的感知与推理能力。不同于现有专注于视觉语义的编辑基准，PhyEditBench聚焦于物理世界中的真实动态过程，涵盖了变形与断裂、流体动力学、刚体交互以及状态变化与环境效应四大物理类别及其12个子类。每个实例以四阶段物理轨迹（输入、中间态1、中间态2、输出）的形式组织，支持细粒度的逐步骤评估与全局编辑评估。该数据集填补了图像编辑领域缺乏物理感知评估标准的空白，为衡量模型是否真正理解物理世界演化逻辑提供了关键资源，对推动可编辑视觉内容生成向物理合规性方向发展具有重要引领作用。

当前挑战

领域层面，现有图像编辑模型普遍缺乏对物理规律的显式理解，难以在编辑过程中维持时空一致的物理合理性，例如在处理物体断裂、液体流动或刚体碰撞等场景时，常产生违反物理现实的视觉输出。构建过程中，数据集面临的核心挑战包括：物理场景的多样性与真实性的平衡——需覆盖丰富且典型的物理现象，同时确保每一条轨迹均源自真实拍摄或高保真模拟；多阶段编辑指令的精确设计与语义对齐——需保证每一步指令既能独立引导物理状态变化，又能在整体上构成连贯的叙事；反物理实例的构建——通过人为构造违背常识的物理规则，用以检验模型是否具备超越视觉先验的推理能力，而非简单地模仿训练数据中的视觉模式。

常用场景

经典使用场景

PhyEditBench是一个专为评估物理感知图像编辑能力而设计的真实世界多阶段基准数据集。其经典使用场景在于对指令引导的图像编辑模型进行精细化的物理合理性评测。该数据集包含238个高质量真实世界实例与35个合成反物理实例，覆盖变形与断裂、流体动力学、刚体相互作用、状态变化与环境效应四大物理类别及12个子类。每个实例组织为四态物理轨迹（输入、中间态1、中间态2、输出），支持从单步编辑到多步聚合指令再到全局编辑的五种评测设置，从而系统性地检验模型在遵循物理规律方面的表现。

实际应用

在实际应用中，PhyEditBench所倡导的物理感知编辑技术具有广泛的工业价值。在影视特效与动画制作领域，能够自动生成符合物理规律的物体变形、碎裂或液体流动效果，极大降低人工模拟成本。在游戏开发中，可实现对场景内物件受外力作用的实时编辑与调整，提升交互体验的真实感。此外，在虚拟现实与机器人仿真训练中，物理一致的图像编辑有助于生成高保真的训练数据，从而增强模型对真实世界物理互动的泛化能力。该数据集为上述场景提供了可信的评测工具，加速了技术的落地验证。

衍生相关工作

PhyEditBench的发布催生了一系列衍生研究工作。基于其多阶段轨迹设计，研究者提出了如ChronoEdit-14B等专门优化的物理感知编辑模型，在该基准上取得了领先性能。该数据集还激励了反物理推理任务的发展，通过合成反物理实例迫使模型摆脱视觉先验依赖，从而催生了诸如Anti-Physics Learning等新研究方向。此外，VLM评估方法在该基准中的成功应用，也推动了利用视觉语言模型进行多维编辑质量的自动评估范式，后续工作如Seedream4.0和GPT-Image-1.5均采用类似的评测策略进行模型优化。