GAUGE

一个基于实际测量的基准，用于评估物理引擎和视频世界模型中的物理保真度。A benchmark based on actual measurements for evaluating the physical fidelity in physics engines and video world models.

原始信息汇总

数据集概述

GAUGE 是一个用于评估物理模拟引擎和生成式视频世界模型物理保真度的基准数据集，由上海人工智能实验室发布。该数据集的核心目标是超越视觉相似性，通过将模拟或生成的动态与受控的真实世界实验进行比较，来衡量物理引擎和世界模型是否真实地再现了物理行为。

核心特点

• 测量驱动：基于高精度动捕系统记录的重复真实世界实验，并配以校准的物理参数和不确定性估计，而非依赖视觉相似性或人类判断。
• 跨物理域基准：覆盖刚体、柔性缆绳、织物和体积可变形物体等不同物理域，共包含 22 个受控物理任务族。
• 双轨评估：同时评估数值物理引擎和生成式视频世界模型，提供统一的真实世界基准。
• 诊断性评估：不仅提供排名，还旨在诊断模拟器失效的具体物理机制（如接触、摩擦、动量传递、振荡、变形等）。

数据集内容

• 规模：包含约 1,560 次真实世界动捕实验轨迹。
• 物体类型：刚体、柔性缆绳（绳索）、织物（6 种材质：人造丝、缎面、制服布、牛津布、合成革、尼龙塔斯兰）、体积可变形体（软/硬泡沫）。
• 数据形式：
  • 刚体：随时间变化的 6 自由度位姿轨迹。
  • 织物和变形体：表面标记点的位置轨迹。
• 物理元数据：提供实验校准的物理属性，包括几何、质量、密度、摩擦系数、恢复系数、拉伸刚度、剪切刚度、弯曲刚度、杨氏模量和泊松比。
• 数据存储：数据集主要存放于 Hugging Face 平台（GAUGE-Dataset），包含场景、任务资产、物理元数据和测量轨迹（JSON 格式）。主仓库（GitHub）提供基准代码、评估脚本和参考基线。

任务结构

数据集包含 22 个任务族，分为四大类：

类别	任务数	代表性物理机制
刚体	8	碰撞、摩擦、动量传递、振荡
柔性缆绳	1	自接触、拉伸
织物	6	拉伸、弯曲、摩擦、快速动态
体积可变形体	7	拉伸、压缩、剪切、扭转、弯曲

每个任务包含视频示例、任务描述、评估指标、子任务数量和测试材料。

评估方法

• 物理引擎评估轨：在匹配的初始条件和物理参数下，比较模拟轨迹与真实世界平均轨迹。评估指标包括 RMSE（帧对齐误差）、DTW（动态时间规整误差）以及任务特定指标（如动量传递效率、最长静止时长、振荡周期、能量损失）。
• 视频世界模型评估轨：将生成的视频进行目标分割和逐帧跟踪，提取运动轨迹，转而评估物理规律结构（如动态误差、决定系数、二次形式改进）和物理参数准确性（如加速度、动量传递效率、振荡周期、阻尼）。

基准结果

• 物理引擎：对 Isaac Sim、Genesis 和 Newton 等引擎进行了基准测试。主要发现是没有任何单一物理引擎在所有物理域中都表现一致。标准接触和滑动行为通常能较好重现，但在冲击接触、高加速度织物运动和体积变形方面存在较大偏差。
• 视频世界模型：评估了多种图像到视频模型。结果表明，模型可能生成形式上正确的物理运动，但预测的物理参数（如加速度、动量传递、振荡周期和阻尼）并不准确。

基准用途

该基准致力于成为诊断性基准。通过分析结果，可以判断一个模拟器的失效是属于结构性问题（物理方程形式错误）、定量问题（物理参数错误）还是动态/稳定性问题（时间行为不正确），进而指导改进方向。

未来规划

未来将扩展至更多材料、流体动力学、流体-刚体/软体交互、3D 世界模型评估，以及应变、曲率、弯曲能量和能量耗散分析等。

引用与许可

• 论文：arXiv:2608.05948
• 许可协议：MIT License

搜集汇总

数据集介绍

构建方式

GAUGE基准的构建根植于受控的真实世界物理实验，而非依赖模拟器生成的参考轨迹。研究者利用高精度运动捕捉系统，对涵盖刚体、柔性绳索、织物及体积可变形物体四大物理域的22个任务族进行了约1,560次实测，并配套记录了实验校准的物理属性（如几何、质量、密度、摩擦系数、恢复系数及各类刚度参数）。每项任务均遵循‘真实实验→物理测量→匹配模拟/视频生成→观测提取→物理评估’的流程，确保评估的物理保真度具有测量学根基，并提供毫米级轨迹数据和不确定性估计，为模拟引擎与视频世界模型构建了统一的评估框架。

特点

GAUGE的核心特色在于其测量锚定的评估范式，超越了视觉相似性或人类主观判断，直接对比模拟或生成动态与受控真实实验的契合度。基准创新性地跨越多种物理机制，涵盖刚体碰撞、摩擦、动量传递、振荡，以及织物的拉伸、弯曲和体积形变等，并同时覆盖数值物理引擎和生成式视频世界模型两条评估轨道。诊断性指标（如轨迹偏差、时间对齐、动量传递效率、方程形式一致性等）不仅提供排名，更能深入揭示模拟器失效的物理机制，实现了从‘是否逼真’到‘为何失真’的范式跃迁。

使用方法

GAUGE的使用遵循两条互补的评估路径。在模拟引擎轨道中，用户依据实验校准的物理参数构建匹配的仿真场景，生成轨迹后通过RMSE、DTW及任务特异指标（如动量传递效率、周期时长）与实测数据对齐比较。视频世界模型轨道则要求从初始图像和提示词生成视频，经物体分割与逐帧追踪提取像素轨迹并换算至物理坐标，再评估物理定律结构（动态误差、决定系数）与物理参数准确性（如加速度、阻尼）的统一性。项目于HuggingFace发布数据集（含场景、任务资产、物理元数据和轨迹JSON），并提供评估脚本及标准协议，支持对Isaac Sim、Genesis、Newton等引擎及Cosmos、Wan等世界模型的系统化基准测试。

背景与挑战

背景概述

GAUGE基准由上海人工智能实验室（Shanghai AI Laboratory）于2026年推出，旨在评估数值物理引擎与生成式视频世界模型在模拟真实物理行为方面的保真度。该基准由舒艾·王（Shuai Wang）等研究人员主导，核心研究问题在于：视觉上逼真的模拟是否真正符合现实世界的物理规律？GAUGE通过涵盖刚体、柔性缆绳、纺织品及体积可变形的22个受控物理任务族，利用毫米级轨迹测量与标定参数，提供了物理引擎和视频世界模型两条评估轨道，推动了从视觉合理性到测量物理保真度的范式转变。其影响力在于为机器人学习、策略评估及合成数据生成等领域提供了诊断性评价框架，挑战了传统仅基于视觉相似性的评估方法。

当前挑战

GAUGE基准所面临的挑战包括多个层面。首先，在领域问题层面，现有物理引擎与视频世界模型常因缺乏真实物理依据，导致模拟轨迹与真实动力学偏差显著，尤其在冲击接触、高加速度柔性体运动及体积变形等复杂物理机制上，没有任何单一引擎能全面忠实于所有物理机制。其次，在构建过程中，GAUGE需精确获取跨多个物理机制的大规模真实实验数据，包括约1560次运动捕捉试验，并协调不同对象类别的广义轨迹表示，以确保物理参数标定与不确定性估计的准确性。此外，设计任务特异性诊断指标以区分结构性与参数性物理失败，也是其构建过程中的关键挑战。

常用场景

经典使用场景

GAUGE数据集的核心应用场景在于作为物理仿真引擎与视频世界模型的基准测试平台。研究者可基于该数据集，对刚体、柔性线缆、织物及体积可变形物体等四大物理范畴的22个受控物理任务族，进行系统的物理保真度评估。通过将仿真或生成的运动轨迹与真实世界的高精度动捕测量数据对比，可量化检验模拟器在碰撞、摩擦、动量传递、振荡等物理机制上的复现能力。该基准为跨物理域、跨模型类别的公平比较提供了标准化协议与诊断性指标，成为推动物理仿真技术发展的关键实验场域。

实际应用

在实际应用层面，GAUGE数据集为机器人学习、策略评估及大规模合成数据生成等领域提供了坚实的物理可信度保障。凭借其覆盖广泛物理任务与材料的真实测量数据，该数据集可用于验证物理引擎在仿真到现实（sim-to-real）迁移中的可靠性，助力自动驾驶、工业自动化等场景中仿真环境的可信构建。同时，对于生成式视频模型，GAUGE可作为物理规律学习的基准，评估模型是否真正掌握动力学原理而非仅模仿外观，从而为虚拟内容创作、交互式媒介等应用中的动态真实性提供质量门槛，推动生成式AI在物理交互场景中的安全落地。

衍生相关工作

GAUGE数据集已催生了一系列重要衍生工作。基于其测量基准，研究者已在多个主流物理引擎上展开系统评测，揭示了不同引擎在脉冲接触、高加速度织物运动及体积变形等场景下的能力边界，为引擎选型与优化提供了明确指引。此外，该数据集促进了面向视频世界模型的物理诊断方法研究，如动力误差（DE）、决定系数（R²）及二次型改进（QFI）等指标的提出，深化了对生成模型物理学习机制的理解。GAUGE倡导的诊断性评估理念亦激发出更多关于仿真保真度、物理参数反演及跨物理域泛化的研究，推动了物理仿真与生成模型领域的交叉融合与标准化进程。