PhyCo-Sim

PhyCo-Sim是一个包含物理模拟视频的数据集，具有对物理属性的控制，如摩擦、恢复、变形和施加的力。数据集扩展了Kubric，增加了软体模拟、力应用、纹理随机化和丰富的每帧元数据导出。数据集包含多个场景，如球体掉落、软体球体掉落、立方体变形、摩擦力滑动等，每个场景都有不同的属性变化。

PhyCo-Sim is a dataset consisting of physics simulation videos, which enables fine-grained control over physical properties including friction, restitution, deformation and applied forces. This dataset extends Kubric by adding soft-body simulation, force application, texture randomization and comprehensive per-frame metadata export. It contains multiple scenarios such as sphere dropping, soft sphere dropping, cube deformation, friction-based sliding and more, with varied property settings for each scenario.

原始信息汇总

数据集概述：PhyCo-Sim

基本信息

• 数据集地址：https://github.com/nnsriram97/phyco-sim
• 配套数据集（HuggingFace）：https://huggingface.co/datasets/nnsriram97/phyco_kubric（约27.5 GB）
• 关联论文：PhyCo: Learning Controllable Physical Priors for Generative Motion（CVPR 2026）
• 性质：非官方实现的物理仿真数据生成管线

核心功能

该数据生成管线基于Kubric框架扩展，能够生成带标注的物理仿真视频，并支持对以下物理属性的控制：

• 摩擦系数（Friction）
• 恢复系数（Restitution / Bounciness）
• 变形刚度（Deformation Stiffness）
• 施加力（Applied Forces）

在Kubric基础上的新增特性

• 软体仿真：支持质量-弹簧模型和Neo-Hookean材料模型的形变物体
• 力施加：可在任意仿真帧施加力、扭矩和冲量
• 细粒度物理控制：摩擦、恢复、刚度、力大小等均可通过CLI参数调整
• 纹理随机化：PBR纹理（木材、混凝土、砖块等）随机采样，增加视觉多样性
• HDRI环境光照：真实感的环境光照和背景
• 丰富的元数据导出：每物体物理参数、相机参数、力信息及逐帧状态均导出为JSON
• 可扩展执行：支持多GPU并行运行和SLURM调度器

已发布的仿真场景

共9个场景，每个场景对应HuggingFace数据集中的一个条目：

场景名称	描述	变化的物理属性
ball_drop_v2	刚性球体落到平台上弹跳	恢复系数（弹跳性）
ball_drop_v3	3-5个刚性球同时落下	恢复系数（弹跳性）
ball_drop_soft_v4	可变形弹性球落到表面	变形刚度
ball_wall_collision	球滚向墙壁弹回	恢复系数（弹跳性）
cube_deform_soft_v2_noeff	刚性球撞击软弹性方块	变形刚度
friction_slide_flat_v2	矩形砖块在平面上滑动	摩擦系数、滑动方向
friction_slide_flat_force_v3	砖块在外力作用下滑动	力的大小和方向
jenga_force	对叠叠乐塔中一块施力	推动方向
pool_table_force	对台球桌上的球施力	力、方向、摩擦、恢复系数

输出格式

每个仿真产生一个目录，包含以下内容：

• RGB帧：rgba_00001.png
• 实例分割掩码：segmentation_00001.png
• 深度图：depth_00001.tiff
• 视频文件：rgb_video.mp4、segmentation_video.mp4、depth_video.mp4
• 元数据JSON：metadata.json，包含场景参数、相机参数、物体物理属性及施加力信息

元数据JSON结构

• scene：分辨率、帧范围、FPS
• camera：位置、四元数、内参矩阵、焦距
• objects：每个物体的asset_id、位置、质量、摩擦系数、恢复系数、分割ID、Neo-Hookean参数、弹簧刚度
• forces：大小、方向、作用点、帧号

使用与安装

• 安装：运行 bash setup_scripts/setup_kubric_no_docker.sh 下载Blender 3.4并安装依赖
• 单视频生成：通过每个场景对应的 src/run_*.py 脚本执行
• 并行多GPU生成：通过 scripts/launch/ 目录下的场景启动脚本执行
• SLURM集群生成：通过 scripts/launch/generic_slurm_orchestrator_v2.sh 编排

纹理资产

纹理需从Poly Haven自行下载（CC0许可），分为四类：

• 木材（wood_textures/）
• 混凝土（concrete_textures/）
• 砖块（brick_textures/）
• 地面（ground_textures/）

下载后需按照特定目录结构存放，文件夹名以.blend结尾。

软体仿真

支持两种材料模型：

• 质量-弹簧模型（Mass-Spring）：适用于一般形变物体、布料类
• Neo-Hookean模型：适用于橡胶、弹性体

需要四面体网格（.vtk）用于PyBullet仿真，表面网格（.obj）用于Blender渲染。

许可协议

PhyCo-Sim采用 Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) 许可。

搜集汇总

数据集介绍

构建方式

物理先验的可控生成是计算机视觉与图形学交叉领域的前沿课题，而高质量、带标注的物理仿真数据集则是驱动该领域研究的关键基石。PhyCo-Sim正是在此背景下，基于Kubric框架进行深度扩展而构建的仿真数据生成管线。其构建方式核心在于对Kubric原有刚体动力学的全面突破，创新性地引入了软体模拟模块，支持质量-弹簧与Neo-Hookean两种材料模型以模拟形变物体。同时，管线允许在任意仿真帧施加力、力矩与冲量，并提供精细的物理参数控制，如摩擦系数、恢复系数、刚度及力的大小与方向，所有参数均作为命令行接口暴露。此外，通过随机采样PBR纹理与HDRI环境光照来增强视觉多样性，最终为每个仿真场景输出包含RGB帧、实例分割掩码、深度图及详尽元数据（包括每帧物体状态、相机参数与施加力信息）的丰富结果。

特点

PhyCo-Sim数据集以其独特的精细可控性与丰富元数据在同类数据集中脱颖而出。其首要特点在于物理属性的显式可编程控制，用户能通过命令行精准调节诸如恢复系数、摩擦力、形变刚度及外力作用等关键物理量，从而生成具有特定物理行为的动态视频序列。其次，该数据集兼具视觉多样性与结构一致性，通过随机化PBR材质贴图与HDRI环境光照，使得在同一物理参数设定下能产出外观迥异的样本，极大提升了数据的泛化性。尤为重要的是，数据集提供了结构化的元数据导出功能，每一个仿真片段均伴随一个完整JSON文件，详尽记录了场景配置、摄像机内外参、各物体的逐帧位姿、物理属性乃至施加力的时间与方向，为学习物理先验的生成模型提供了理想的结构化训练与评估基准。

使用方法

使用PhyCo-Sim数据集进行模型开发需经历生成与加载两个阶段。在生成阶段，研究者需首先按照安装指南配置Blender环境及纹理资源，随后通过各场景对应的并行启动脚本，指定Python解释器路径、工作进程数、生成视频总数及输出目录，即可在单机多GPU或SLURM集群上高效批量生成仿真数据。生成的每个样本均以独立UUID目录存储，内含RGB图像序列、分割掩码、深度图及核心的metadata.json文件。在加载阶段，可直接利用cv2、json等Python标准库解析上述文件，metadata.json提供了精准的逐帧物理状态与相机几何信息，使得研究者能够方便地将视频数据与物理标注对齐，用于训练可控视频生成或物理属性预测等下游任务。

背景与挑战

背景概述

PhyCo-Sim数据集于2026年由Sriram Narayanan等研究者创建，源自其对物理先验知识在可控运动生成中作用的探索。该数据集依托于CVPR 2026论文《PhyCo: Learning Controllable Physical Priors for Generative Motion》，旨在为生成式运动模型提供丰富的物理仿真视频样本。主要研究机构包括学术界与工业界合作团队，核心研究问题是实现摩擦、恢复系数、形变及外力等物理属性的精细调控，以提升生成视频的真实感与可控性。PhyCo-Sim通过扩展Kubric框架，引入软体仿真、力施加及纹理随机化等特性，产出了约27.5GB的标注数据，为计算机视觉与物理仿真交叉领域提供了基准资源，推动了可控视频生成研究的发展。

当前挑战

PhyCo-Sim所解决的领域挑战在于现有生成式运动模型难以精确控制物理属性，导致合成视频缺乏真实物理交互。具体挑战包括：1）物体间的摩擦、恢复系数、形变及外力等参数难以在生成过程中独立调节；2）软体物体的形变行为（如质量-弹簧与Neo-Hookean模型）模拟复杂度高，需平衡计算效率与仿真精度。构建过程中面临的挑战有：1）在Kubric刚性体框架基础上集成软体仿真与力施加功能，需修改底层模拟器与渲染器；2）确保多GPU并行执行时，纹理随机化与HDRI环境光照的视觉一致性；3）大规模生成约27.5GB的数据需设计可扩展的SLURM编排器与高效Blender渲染流水线。

常用场景

经典使用场景

PhyCo-Sim数据集的经典使用场景聚焦于视频生成与物理仿真交叉领域，旨在为可控物理先验学习提供大规模、多模态的标注数据。其核心在于生成具有精细物理属性（如摩擦系数、恢复系数、变形刚度与外力作用）的仿真视频，支持研究者探索从静态像素到动态物理参数的解耦映射。该数据集尤其适用于训练能够理解并复现物体交互物理规律的生成式模型，为可控动作生成、物理场景编辑等任务提供可量化的训练与评估基准。

实际应用

在实际应用中，PhyCo-Sim数据集为机器人操控、自动驾驶仿真以及交互式虚拟现实内容创作提供了高保真的物理训练素材。例如，在机器人领域，利用其中标注了摩擦与弹性参数的仿真视频，可训练模型预测物体跌落时的弹跳轨迹或机械臂抓取时所需施加的力反馈。在智能体感知任务中，该数据集有助于提升系统对动态场景中物理违反现象的鲁棒检测能力。此外，其丰富的纹理随机化与环境光照变化也增强了生成模型对真实世界多变条件的泛化能力。

衍生相关工作

基于PhyCo-Sim数据集的启发，衍生出一系列探究物理感知视频生成与控制的前沿工作。相关工作包括利用对比学习提取物理参数隐式表示的方法，以及将残差物理网络嵌入扩散模型以强制满足运动约束的架构。另有研究将该数据集作为物理推理benchmark，评估现有视频基础模型在因果理解上的短板。这些衍生工作共同推动了可控物理生成范式从刚性规则演进至数据驱动的柔性先验，显著扩充了三维视觉与物理仿真交叉领域的研究工具箱。