UniPhys-40K

UniPhys-40K是由浙江大学与Manycore Tech Inc.等机构联合构建的大规模物理基础数据集，旨在为具身智能和机器人仿真提供统一物理语义的仿真就绪三维资产。该数据集汇集了来自Objaverse、HSSD、3D-FUTURE等异构三维资源库的逾四万个三维模型，涵盖了84个物体类别，并标注了关节运动语义与材料、密度等内在物理属性，形成了从日常家居到大型基础设施的广泛物体尺度与质量分布。其构建过程依托于自动化物理基础管线UniPhys，通过感知引导的结构分解、几何感知的关节基础以及仿真驱动的一致性验证等模块，实现了从原始三维网格到物理一致资产的规模化转换。该数据集主要应用于机器人仿真、物理交互建模以及三维生成等领域，致力于弥合视觉逼真资产与仿真就绪资产之间的语义鸿沟，为物理基础模型的训练与评估提供关键支撑。UniPhys-40K is a large-scale physics foundational dataset jointly constructed by Zhejiang University, Manycore Tech Inc., and other institutions. It aims to provide simulation-ready 3D assets with unified physical semantics for embodied intelligence and robotic simulation. This dataset aggregates over 40,000 3D models from heterogeneous 3D repositories including Objaverse, HSSD, and 3D-FUTURE, covering 84 object categories. It is annotated with joint motion semantics and intrinsic physical properties such as material and density, forming a wide range of object scales and mass distributions spanning from daily household items to large-scale infrastructure. Its construction relies on the automated physics foundational pipeline UniPhys, which enables large-scale conversion from raw 3D meshes to physics-consistent assets through modules such as perception-guided structural decomposition, geometry-aware joint foundation, and simulation-driven consistency verification. This dataset is mainly applied in fields such as robotic simulation, physical interaction modeling, and 3D generation. It is committed to bridging the semantic gap between visually realistic assets and simulation-ready assets, providing critical support for the training and evaluation of physics foundational models.

原始信息汇总

数据集概述：UniPhysGen

地址：https://github.com/breezexian/UniPhysGen

核心目标：UniPhysGen 是一个致力于为仿真就绪的3D资产提供统一物理基础的数据集项目。其全称为“Unified Physical Grounding for Simulation-Ready 3D Assets”，即“面向仿真就绪3D资产的统一物理基础”。

主要特征：

• 专注于3D资产的物理属性统一化，旨在使3D模型具备仿真环境中所需的物理交互能力。
• 强调“仿真就绪”（Simulation-Ready），即数据集中的3D资产可直接用于物理仿真场景。
• 项目名称中的“UniPhysGen”暗示了其生成（Gen）与统一（Uni）物理基础的双重功能。

适用场景：该项目适用于需要物理真实感的3D仿真环境，如机器人模拟、自动驾驶仿真、游戏物理引擎集成等领域。

搜集汇总

数据集介绍

构建方式

在具身智能与机器人仿真领域，现有3D资产多缺乏统一的物理语义，难以直接用于仿真交互。为突破这一局限，UniPhys-40K数据集基于创新的UniPhys自动化管线构建而成。该管线首先对来自Objaverse、HSSD、3D-FUTURE、ABO及PartNet等异构数据源的原始3D网格进行物理意义引导的结构分解，借助多视图SAM先验与频繁项集挖掘，获得运动与材质敏感的零部件划分。随后，管线通过部件感知的多模态大语言模型推理内在物理属性，并利用几何约束的运动学候选与语义选择完成铰接参数标注。最终，经由仿真驱动的多层级一致性校验过滤并修正不合理注解，从而规模化地生成超过四万份兼具铰接语义与物理属性的就绪资产。

特点

UniPhys-40K数据集展现出显著的独特优势。其涵盖84个物体类别，资产规模逾四万，来源异构多样，覆盖从小型家居物件到大型家具与基础设施的广泛尺度、质量与材质分布。与现有数据集相比，该数据集首次在同一框架内统一标注了铰接语义（包括关节类型、运动轴、枢轴点、运动范围及结构依赖关系）与内在物理属性（如材质、密度、摩擦系数、质量与可操作度），并通过仿真驱动的校验确保了物理一致性。数据集展现出典型的长尾分布特性，囊括了刚性、旋转、平动及纯接触等多种交互关系，为鲁棒的物理基础模型训练提供了丰富的硬件素材。

使用方法

UniPhys-40K可直接用于训练和评估统一的物理基础模型，如UniPhysGen。研究者可将数据集的3D点云（含物体与部件几何）与结构化物理语义标签配对，通过全参数微调多模态大语言模型，使其联合推理铰接运动学参数与内在物理属性。数据集内置的UniPhys-Bench包含1927件经人工校验的铰接物体，提供了1,927件共5,469个运动相关部件的标准评测基准。评估时，需在标准坐标系中对齐预测与真值的关节类型、轴方向角误差、枢轴距离误差及运动范围交并比，并可结合物理仿真环境验证生成资产在机器人操作中的交互稳定性与物理合理性。

背景与挑战

背景概述

随着三维生成建模技术的迅猛发展以及大规模三维资产库如 Objaverse 的涌现，高质量三维网格的获取变得日益便捷。然而，现有大多数三维资产虽具备逼真的几何与外观，却普遍缺乏统一的物理语义——包括关节运动语义（如可动结构与运动学参数）及固有物理属性（如材质、密度、摩擦系数与质量），导致其无法直接用于具身智能与机器人仿真中的物理交互。为弥合视觉真实资产与仿真就绪资产之间的鸿沟，浙江大学与杭州群核信息技术有限公司的研究团队于 2026 年共同提出了 UniPhys-40K 数据集。该数据集基于可扩展的 UniPhys 流水线，自动将来自 Objaverse、HSSD、3D-FUTURE、ABO 及 PartNet 等多源异构三维资产，转化为具有统一物理语义的仿真就绪资产，涵盖超过 4 万个三维物体。同时，团队构建了经过人工精细校验的基准评测集 UniPhys-Bench，包含 1927 个关节物体及 5469 个运动相关部件，为统一物理接地研究提供了大规模训练与标准化评估基础，显著推动了物理感知三维理解与仿真交互领域的发展。

当前挑战

UniPhys-40K 数据集所应对的核心挑战在于，如何自动将原始三维网格转化为物理一致、仿真就绪的资产，且需同时保证关节语义与固有物理属性的联合合理性。具体而言，现有方法多将关节接地与物理属性估计视为独立问题，独立接地易导致仿真中运动不一致、交互不稳定或物理行为失实；此外，多数方法依赖规范化部件分解与干净物体结构，难以泛化至艺术建模、程序化生成等异构资产中常见的粒度和结构歧义。在构建过程中，挑战尤为突出：首先，如何从异构三维网格中提取物理有意义的部件分解，需兼顾运动相关结构与材质敏感区域，而非仅优化几何或语义一致性；其次，大模型虽具备强大语义先验，但将功能理解鲁棒地映射为三维关节运动参数（如轴、枢轴与限位）仍面临几何歧义与旋转偏置；最后，自动生成的物理标注可能隐含非真实属性或不稳定关节行为，如何在无真实物理量参照下，通过仿真驱动的验证框架高效筛选并修正不一致标注，亦是保障数据规模与质量的关键难题。

常用场景

经典使用场景

在具身智能与机器人仿真领域，UniPhys-40K最经典的使用场景是为仿真环境提供具备统一物理语义的三维资产。该数据集通过自动化管线对来自Objaverse、HSSD、3D-FUTURE、ABO及PartNet等异构来源的原始网格模型进行物理化改造，赋予其包含关节结构、运动学参数、材料属性、密度、摩擦系数及质量在内的完整物理语义。研究人员可直接将数据集中的资产导入Isaac Sim、MuJoCo等物理仿真引擎，进行抽屉推拉、水龙头旋转、笔记本电脑开合等具身交互任务的验证，从而填补了视觉真实感三维模型与仿真可用资产之间的鸿沟。

解决学术问题

UniPhys-40K从根本上解决了现有三维数据集缺乏统一物理语义的学术困境。现有的PartNet-Mobility、GAPartNet等数据集仅关注关节语义，而PhysXNet、PhysDB虽引入部分物理属性却依赖规范化部件分解且缺乏仿真验证。UniPhys-40K首次在大规模尺度上（超过40K资产、84个类别）同时标注了关节语义（类型、轴、支点、运动范围）与内在物理属性（材料、密度、摩擦、质量），并通过仿真驱动的验证机制确保标注的一致性。这一成果为统一物理接地模型的训练与评估提供了可靠基准，推动了关节接地与物理属性估计从独立研究向联合推理的范式转变。

衍生相关工作

基于UniPhys-40K，研究者提出了UniPhysGen这一统一物理接地模型，通过物理语义对齐预训练、几何鲁棒的关节接地以及球面轴参数化等创新设计，在异构部件分解下实现了关节语义与内在物理属性的协同推理。该模型在UniPhys-Bench基准上刷新了关节类型精度、轴角误差、支点定位及运动范围估计等多项指标，并展现出对不同分解粒度的鲁棒性。此外，数据集催生了仿真驱动的一致性验证机制，后续工作可进一步探索基于强化学习的物理标注精化策略以及面向开放世界的大规模物理语义解析方法。