PhyEditBench
收藏资源简介：
PhyEditBench是一个真实世界的多阶段基准，用于评估物理感知图像编辑。它包含238个高质量真实世界实例和35个合成反物理实例，覆盖4个主要物理类别和12个子类，包括变形与断裂、流体动力学、刚体交互以及状态变化与环境效应。每个真实世界实例组织为四状态物理轨迹——输入、中间状态1、中间状态2和输出，支持细粒度逐步评估和整体全局编辑评估。模型在五种设置下测试：连续状态之间的三个逐步编辑、一个使用聚合指令的多步编辑，以及一个从初始状态到最终状态的全局编辑。反物理案例进一步测试模型是否能遵循反事实物理规则，而不是依赖常见视觉先验。模型输出通过统一的基于VLM的评判器在四个指标上评估：一致性、指令遵循、物理合理性和图像质量，其中物理合理性权重最高，以强调物理一致的编辑。
PhyEditBench is a real-world multi-stage benchmark designed for evaluating physics-aware image editing. It comprises 238 high-quality real-world instances and 35 synthetic counter-physical instances, spanning 4 primary physics categories and 12 subcategories, namely deformation and fracture, fluid dynamics, rigid body interaction, as well as state changes and environmental effects. Each real-world instance is structured as a four-state physics trajectory: input, intermediate state 1, intermediate state 2, and output, enabling fine-grained step-by-step evaluation and holistic global editing assessment. Models are tested under five settings: three stepwise edits between consecutive states, one multi-step edit using aggregated instructions, and one global edit from the initial state to the final state. The counter-physical cases further test whether models can follow counterfactual physical rules instead of relying on common visual priors. Model outputs are evaluated on four metrics by a unified VLM-based evaluator: consistency, instruction following, physical plausibility, and image quality, with physical plausibility assigned the highest weight to emphasize physically consistent editing.
数据集概述：PhyEditBench
PhyEditBench 是一个面向物理感知图像编辑的真实世界多阶段基准测试集。
核心信息
- 数据规模：包含 238 个高质量真实世界实例 和 35 个合成反物理实例。
- 物理类别：覆盖 4 个主要物理类别 和 12 个子类，具体包括：
- 变形与断裂 (Deformation & Fracture)
- 流体动力学 (Fluid Dynamics)
- 刚体交互 (Rigid-Body Interactions)
- 状态变化与环境影响 (State Change with Environmental Effects)
数据结构
- 每个真实世界实例被组织为 四状态物理轨迹：输入 (input) → 中间状态 1 (intermediate 1) → 中间状态 2 (intermediate 2) → 输出 (output)。
- 评估设置：模型在五种设置下进行测试：
- 逐步骤编辑 (Type A/B/C)：连续状态之间的三次编辑。
- 多步骤编辑 (Type D)：使用聚合指令的编辑。
- 全局编辑 (Type E)：从初始状态到最终状态的编辑。
- 反物理测试：专门设计以测试模型是否能够遵循反事实的物理规则，而非依赖常见的视觉先验。
评估指标
- 使用统一的基于 VLM 的评分器，从四个维度对模型输出进行评分（1-10分）：
- 一致性 (Consistency)
- 指令遵循 (Instruction Following)
- 物理合理性 (Physical Plausibility)：权重最高。
- 图像质量 (Image Quality)
- 总体得分为各指标的加权平均值。
数据集链接与资源
- 项目主页：https://github.com/Previsior/PhyEditBench
- 数据集 (Hugging Face)：https://huggingface.co/datasets/Previsior-PhyEdit/phyedit-bench
- 视频数据 (Hugging Face)：https://huggingface.co/datasets/Previsior-PhyEdit/phyedit-video
- 论文 (arXiv)：https://arxiv.org/abs/2606.26551
- 发布日期：2026年，已被 ECCV 2026 接收。
基准性能摘要
- 在评估的 14 个模型中，ChronoEdit-14B 以 8.51 的总体得分排名第一，Seedream4.0（8.47）和 GPT-Image-1.5（8.23）分列第二、三位。
- 各物理类别中，表现最佳的模型各有不同。例如，Fluid Dynamics 类别中 Seedream4.0 得分最高 (9.04)，而 Deformation & Fracture 类别中 ChronoEdit-14B 领先 (8.38)。
使用指南
- 数据存储：基准数据位于
bench目录。常规样本按物理类别和子类组织。 - 评估运行：需要 Python 3.10+ 及
openai、pillow、tqdm依赖。需设置 OpenAI API 密钥。 - 输出结构：生成的输出需按指定目录结构保存，包含模型名、物理类别、子类和评估类型 (Type A-E) 文件夹。
- 脚本：提供
gpt_eval.py（常规评估）和gpt_eval_anti.py（反物理评估）脚本，输出 JSONL 和 JSON 格式的评分摘要。
