Pxform

Pxform是由南洋理工大学和清华大学联合创建的大规模三维编辑数据集，专注于语义部件变换的监督学习。该数据集包含102,007个训练对和1,497个测试对，源自11,273个精选源网格，覆盖七种编辑类型：添加、删除、局部替换、局部缩放、局部颜色变化、局部材质变化和全局风格转换。数据集通过智能体辅助的部件语义数据引擎构建，将编辑操作直接锚定在源网格的语义部件上，确保编辑的精确定位和未修改区域的严格保留。该数据集旨在解决三维编辑中高质量配对监督数据缺乏的问题，为训练前馈式三维编辑模型提供结构一致、语义连贯的基础数据，推动可扩展三维内容创作技术的发展。Pxform is a large-scale 3D editing dataset jointly created by Nanyang Technological University and Tsinghua University, focusing on supervised learning for semantic part transformation. This dataset contains 102,007 training pairs and 1,497 test pairs, derived from 11,273 curated source meshes, and covers seven editing categories: addition, deletion, local replacement, local scaling, local color adjustment, local material modification, and global style transfer. The dataset is constructed via an agent-aided semantic part data engine, which directly anchors editing operations onto the semantic parts of source meshes, ensuring precise localization of edits and strict preservation of unmodified regions. This dataset aims to address the shortage of high-quality paired supervised data in 3D editing, provide structurally consistent and semantically coherent foundational data for training feed-forward 3D editing models, and promote the development of scalable 3D content creation technologies.

原始信息汇总

数据集概述：Pxform

名称：Pxform

类型：高质量3D编辑数据集

规模：超过100K个前后一致的编辑对

编辑类型：包含7种编辑类型，包括：

• Addition（添加）
• Deletion（删除）
• Modification（修改）
• Scale（缩放）
• Color（颜色）
• Material（材质）
• Global（全局风格变换）

数据特点：

• 每个编辑对包含编辑前（Before）和编辑后（After）的3D资产，并配有2D编辑参考图像和编辑指令。
• 所有编辑基于语义3D部分（semantic 3D parts）进行，确保编辑的局部可控性和结构一致性。
• 3D网格通过SLAT（同一管道）解码得到，确保前后数据的一致性。

用途：

• 用于训练前馈式3D编辑方法（如PartFlow），提升3D编辑的保真度、多视角一致性、源资产保持和局部编辑可控性。

构建方法：

• 从语义部分变换（semantic-part transformations）出发，构建编辑配对数据，而非将物体视为无结构形状。
• 通过管道直接基于语义3D部分进行编辑，生成高质量的编辑配对。

相关模型：

• PartFlow：基于Pxform数据集训练的前馈式3D编辑网络，利用预训练3D生成先验，结合掩码感知的速度保持和渲染空间一致性监督，无需推理时提供3D编辑掩码。

下载链接：

• 🤗 Dataset（基于页面中“🤗 Dataset”链接转换为绝对地址）

搜集汇总

数据集介绍

构建方式

在三维建模与编辑领域，现有数据集常因依赖独立生成或图像介导的资产而难以保证编辑区域与未编辑区域的一致性。针对此瓶颈，Pxform数据集提出了一种基于语义部分变换的构建范式。其核心方法是从PartVerse等来源收集不超过16个部件的语义分割3D模型，并通过多视图渲染生成RGB图像与部件色彩映射图。随后，借助大语言模型驱动的智能体进行语义编辑规划，包括部件分组、指令生成及目标视角选择。对于删除与添加操作，直接基于3D部件掩码进行几何修改；而对于替换、缩放、颜色、材质及风格变换，则先利用图像编辑模型生成2D编辑参考，再通过RF-Solver反演与TRELLIS修补实现3D转移，最终经多视图质量门控筛选，形成包含102,007对训练样本与1,497对测试样本的高质量配对数据集。

特点

Pxform数据集以其全面的编辑类型覆盖与严格的语义一致性著称。它涵盖了添加、删除、局部替换、局部缩放、局部颜色变化、局部材质变化及全局风格变换共七种编辑类型，从几何到外观实现了全方位编辑支持。与现有数据集相比，Pxform的核心优势在于其编辑过程直接扎根于3D语义部件，而非依赖2D掩码或图像介导的重建，从而确保了清晰的编辑边界、对未编辑区域的强保持能力以及语义上的连贯性。每个编辑对均以三维形式明确记录了目标区域，消除了因投影歧义导致的模糊边缘与几何伪影。此外，数据集包含超过10,000个多样化类别的源网格，为训练泛化能力强的编辑模型提供了丰富的语义变换监督。

使用方法

Pxform数据集专为训练前馈式三维编辑模型而设计，其使用方法聚焦于从语义部件变换中学习编辑映射。研究人员可利用该数据集提供的成对前后3D资产、编辑指令及语义部件掩码，搭配提出的PartFlow模型框架进行训练。在训练过程中，PartFlow通过源潜码控制分支注入原始资产信息，并利用训练阶段特有的掩码感知速度保持损失来抑制未编辑区域的漂移，同时引入渲染空间一致性损失以增强视觉对齐。值得注意的是，训练完成后，模型在推理阶段无需任何3D掩码输入，即可直接依据自然语言指令完成编辑。评估可通过Uni3DEdit-Bench基准进行，该基准基于Pxform的测试集构建，涵盖了形状与外观编辑的全面指标，便于与其他方法进行公平比较。

背景与挑战

背景概述

三维内容创作正以前所未有的速度迈向智能化时代，其中三维编辑作为数字资产迭代与定制的关键技术，承载着从影视制作、游戏开发到数字孪生等领域的核心需求。然而，当前三维编辑领域受限于高质量配对数据的匮乏，难以像二维图像编辑那样实现大规模前馈式生成。在此背景下，来自南洋理工大学与清华大学的Jiawei Weng、Saining Zhang、Zhenxin Diao等研究者于2025年联合提出了Pxform数据集——一个包含超过10万对一致性编辑配对的大规模语义部件变换三维编辑数据集。该数据集覆盖几何、外观及风格变换七种编辑类型，开创性地将三维编辑转化为语义部件级别的变换任务，为训练无推理掩码的前馈式三维编辑模型PartFlow提供了坚实的数据基础。Pxform的提出显著提升了三维编辑的可扩展性，在几何与外观编辑基准上取得了最先进的性能表现。

当前挑战

Pxform数据集所解决的领域核心挑战在于三维编辑中高质量配对监督的缺失。传统三维编辑数据集多依赖独立生成的资产、图像中介重建或有限的编辑类型，导致编辑定位不精确、未编辑区域保存不良、边界模糊及语义一致性不足。在构建过程中，研究者面临多重困难：首先需从PartVerse、PartObjaverse-Tiny等海量来源中筛选出不超过16个部件的精细分割网格，以确保语义基础可靠；其次需设计基于多模态大模型的语义编辑规划器，自动完成部件分组、指令生成与目标视角选择，并经由跨视角一致性过滤剔除失败的二维编辑结果；最后通过区域控制的三维重建与多视角质量验证，严格确保编辑前后对的语义对齐、空间定位及结构一致性，最终从海量候选对中甄别出十万余个高质量编辑实例。

常用场景

经典使用场景

在三维内容创作与编辑领域，Pxform数据集凭借其超过十万对经过严格语义部件对齐的前后编辑样本，成为训练前馈式三维编辑模型的基石。该数据集涵盖几何与外观两大维度下的七种编辑操作，包括局部添加、删除、替换、缩放、颜色变换、材质更改以及全局风格迁移。研究者可利用这些由语义部件变换驱动的成对数据，训练能够精准定位编辑区域、保持未编辑区域完整性的三维编辑网络，从而摆脱传统方法对推理时三维掩膜的依赖，推动三维编辑向通用化与规模化演进。

实际应用

在实际产业应用中，Pxform数据集支撑的三维编辑技术可广泛赋能游戏资产快速迭代、影视特效局部微调、数字孪生场景定制以及AR/VR交互式创作等场景。例如，用户只需输入自然语言指令，即可将虚拟角色头部的默认发饰替换为特定风格的冠冕，或将家具的木质纹理一键更改为抛光黄铜质感，而模型会自动保持未编辑区域的几何精度与多视角一致性。这种无需手动标注三维掩膜的编辑范式，大幅降低了设计人员的技术门槛，使得非专业用户也能高效参与三维内容的个性化改造与批量生产。

衍生相关工作

基于Pxform数据集，研究者提出了PartFlow这一代表性前馈式三维编辑模型，其通过注入源潜在控制与掩膜感知速度保持损失，实现了无需推理掩膜的高保真编辑。此外，该数据集催生了Uni3DEdit-Bench基准测试，为几何与外观编辑任务提供了系统的评估平台。在更广泛的学术生态中，Pxform的理念启发了后续研究探索部件级语义编辑与可扩展三维生成模型的融合，推动了3DEditFormer、ShapeUP等工作从粗粒度编辑向精细语义变换的演进，并促进了三维理解与编辑统一框架的构建，如前馈式三维编辑范式的确立与多模态三维基础模型的发展。