PhysX-Mobility

PhysX-Mobility是由南洋理工大学与上海人工智能实验室联合构建的物理3D资产数据集，旨在突破现有物理数据集多样性不足的局限。该数据集包含2000余个常见现实物体，涵盖47个对象类别，通过系统化采集PartNet-Mobility资源并精细标注物理属性而构建。数据集通过严谨的物理标注流程，为每个对象提供完整的运动学参数与材料特性，主要应用于具身智能与机器人策略学习领域，为物理仿真系统提供高质量训练基础。PhysX-Mobility is a physical 3D asset dataset co-developed by Nanyang Technological University (NTU) and Shanghai AI Laboratory (SAIL), aiming to address the limitation of insufficient diversity in existing physical datasets. This dataset contains over 2000 common real-world objects spanning 47 object categories, and is constructed by systematically collecting resources from PartNet-Mobility and performing fine-grained annotations of physical properties. Through a rigorous physical annotation workflow, it provides complete kinematic parameters and material properties for each object. Primarily applied in the fields of embodied intelligence and robot policy learning, this dataset offers high-quality training foundations for physical simulation systems.

原始信息汇总

PhysX-Mobility 数据集概述

基本信息

• 数据集名称: PhysX-Mobility
• 发布者: Caoza
• 访问地址: https://hf-mirror.com/datasets/Caoza/PhysX-Mobility
• 点赞数: 5
• 上月下载量: 3

任务类型

• Image-to-3D

技术特征

• 语言: English
• 标签:
  • Physical 3D Generation
  • 3D Vision
  • 3D

学术信息

• ArXiv: arxiv: 2511.13648
• 许可证: cc-by-nc-4.0

数据集描述

该数据集旨在填补物理标注3D数据集的关键空白，是首个在五个基础维度上系统标注的物理基础3D数据集：

• 绝对尺度
• 材质
• 功能可供性
• 运动学
• 功能描述

技术细节

数据集整体结构与PhysXNet相同

引用信息

bibtex @article{physxanything, title={PhysX-Anything: Simulation-Ready Physical 3D Assets from Single Image}, author={Cao, Ziang and Hong, Fangzhou and Chen, Zhaoxi and Pan, Liang and Liu, Ziwei}, journal={arXiv preprint arXiv:2511.13648}, year={2025} }

致谢

基于PartNet-Mobility构建，向贡献者表示感谢

搜集汇总

数据集介绍

构建方式

PhysX-Mobility数据集通过系统整合PartNet-Mobility中的三维模型资源，并对其物理属性进行精细化标注构建而成。该数据集涵盖47个常见物体类别，包括马桶、风扇、相机等日常对象，每个对象均附有密度、绝对尺度、关节约束等关键物理参数，显著扩展了现有物理三维数据集的类别覆盖范围。

使用方法

该数据集主要服务于物理三维生成模型的训练与验证，通过提供标准化的URDF和XML文件格式，支持生成资产在MuJoCo等物理仿真环境中的直接部署。研究人员可利用其进行接触密集型机器人策略学习，推动具身智能与交互仿真等下游应用的发展。

背景与挑战

背景概述

PhysX-Mobility数据集于2025年由南洋理工大学S-Lab与上海人工智能实验室联合构建，旨在解决具身智能领域对物理属性标注三维资产的迫切需求。该数据集基于PartNet-Mobility扩展形成，涵盖47类常见家居物品如马桶、风扇、相机等，物理标注规模较现有数据集提升两倍以上。通过融合几何结构、运动学参数与材料密度等物理属性，该数据集为仿真就绪三维生成模型提供了关键训练基础，显著推动了机器人交互策略学习与物理仿真应用的发展。

当前挑战

在领域问题层面，传统三维生成方法普遍缺失物理属性与关节结构信息，导致生成资产难以直接部署于物理仿真环境。现有检索式方法对未见类别泛化能力弱，而扩散模型缺乏对绝对尺度、材料密度等关键物理参数的建模能力。构建过程中面临标注复杂性挑战，需对两千余个三维资产进行运动学约束、材料属性和功能描述的多维度标注，同时需解决高分辨率几何表示与视觉语言模型有限标记预算之间的固有矛盾。

常用场景

经典使用场景

在具身智能与机器人仿真领域，PhysX-Mobility数据集作为物理属性标注的3D资产库，常被用于训练和验证物理感知的生成模型。该数据集通过提供包含几何结构、关节运动参数及材料密度等物理属性的真实世界物体，为研究者构建可部署于仿真环境的动态3D对象奠定了数据基础。其多轮对话式标注范式尤其适用于视觉语言模型对复杂物理关系的推理，显著提升了生成资产在运动学约束和物理一致性方面的可靠性。

解决学术问题

该数据集有效解决了传统3D生成方法中物理属性缺失的学术瓶颈，通过提供超过2000个涵盖47类日常物体的精细物理标注，突破了同质化材料假设与关节参数模糊的限制。其引入的绝对尺度、密度及运动范围等物理量，使得生成模型能直接输出符合牛顿力学规律的仿真就绪资产，填补了虚拟资产与现实物理世界间的语义鸿沟，为具身智能中的接触式操作策略学习提供了理论支撑。

实际应用

在机器人策略训练场景中，基于PhysX-Mobility生成的仿真就绪资产可直接导入MuJoCo等物理引擎，支撑机械臂操作眼镜折叠、柜门开合等接触密集型任务。工业领域则借助其高保真物理参数，对精密仪器进行虚拟装配测试与应力分析。该数据集还通过扩展2倍物体类别覆盖，为智能家居、医疗康复等垂直领域的交互式仿真提供了标准化资产库。

数据集最近研究

最新研究方向

在具身智能与机器人交互领域，物理启发的三维内容生成正成为前沿研究的焦点。PhysX-Mobility数据集通过整合47类常见物体的精细物理标注，显著拓展了物理三维资产的类别覆盖范围，为仿真就绪的三维生成模型提供了关键数据支撑。当前研究热点集中于将视觉语言模型与高效三维表示相结合，通过193倍的几何标记压缩技术突破传统生成范式的计算瓶颈，实现从单张真实图像直接生成具备运动学结构与物理属性的可部署资产。这一突破不仅推动了接触密集型机器人策略学习的发展，更在自动驾驶仿真、工业数字孪生等场景展现出深远影响，标志着三维生成技术从视觉重建向物理可信仿真的范式转移。

相关研究论文

• 通过

  南洋理工大学S实验室、上海人工智能实验室 · 2025年