PartNeXt

PartNeXt是一个面向细粒度和层次化3D部件理解的新一代数据集，包含超过23,519个高质量、有纹理的3D模型，这些模型被标注了细粒度和层次化的部件标签，涵盖50个类别。数据集的模型来源于Objaverse、ABO和3D-FUTURE，确保了外观和几何形状的广泛多样性。为了支持高效和可扩展的标注，我们开发了一个完全基于网络的界面，用于众包。该界面采用双面板布局，一个面板显示未标注的网格区域，另一个面板显示已标注的部件。标注人员通过从未标注面板中选择面并将它们移动到标注面板来分配部件。这种直观且视觉引导的工作流程最大限度地减少了对外部3D专业知识的需要，并显著提高了标注吞吐量，特别是对于具有内部结构的复杂对象。

PartNeXt is a novel dataset for fine-grained and hierarchical 3D part understanding. It comprises over 23,519 high-quality textured 3D models annotated with fine-grained and hierarchical part tags, spanning 50 categories. The models in this dataset are sourced from Objaverse, ABO, and 3D-FUTURE, ensuring broad diversity in both appearance and geometry. To support efficient and scalable annotation, we developed a fully web-based interface for crowdsourcing. This interface adopts a dual-panel layout: one panel displays unannotated mesh regions, while the other shows annotated parts. Annotators assign parts by selecting faces from the unannotated panel and moving them to the annotation panel. This intuitive, vision-guided workflow minimizes the need for external 3D professional expertise and significantly improves annotation throughput, especially for complex objects with internal structures.

搜集汇总

数据集介绍

构建方式

在三维物体部件理解领域，构建高质量标注数据集面临纹理缺失与标注效率的双重挑战。PartNeXt通过整合Objaverse、ABO和3D-FUTURE三大来源的23,519个高质量纹理化三维模型，开发了基于Web的大规模众包标注系统。该系统采用双面板交互界面：左侧呈现未标注网格区域，右侧动态展示已标注部件，结合连通组件选择、包围框选择与逐面选择三重工具，在保留原始纹理的前提下实现面级精细标注。通过CLIP模型筛选类别一致性资产，并利用GPT-4o辅助构建跨类别部件层次结构，最终形成涵盖50个物体类别、35万余个标注实例的体系化数据集。

特点

该数据集在三维部件标注领域展现出多重突破性特征：其标注过程直接作用于带纹理的原始网格，规避了传统方法因重网格化导致的几何形变与纹理丢失问题。部件组织结构采用功能感知的层次化设计，顶层为不可分割的功能单元，深层则按制造工艺分解为子部件，形成深度达4-9层的树状语义体系。数据规模较现有基准提升显著，新增26个物体类别，且每个类别均配备由视觉示例支撑的精细化部件词典。特别设计的标注流程能有效处理内部结构与遮挡部件，为三维视觉模型提供兼具几何细节与视觉特征的多粒度学习素材。

使用方法

该数据集支持多维度的三维理解任务验证，在类别无关部件分割任务中，可将层次结构中的叶节点作为真值标签，通过最大交并比指标评估模型对精细部件的分割能力。针对三维大语言模型新设的部件中心问答基准，包含部件计数、分类与定位三类任务，通过点云渲染与文本查询的结合，检验模型对部件级语义与空间关系的理解深度。在可提示分割任务中，通过混合训练策略验证数据集的泛化性能，其纹理保留特性尤其适用于需要多模态输入的现代三维视觉算法，为三维基础模型研发提供标准化评估框架。

背景与挑战

背景概述

三维物体部件理解作为计算机视觉与机器人领域的核心研究方向，其发展依赖于高质量标注数据集的支撑。PartNeXt数据集由上海科技大学研究团队于2025年提出，旨在突破传统数据集在纹理保留与标注粒度方面的局限。该数据集整合了Objaverse、ABO和3D-FUTURE等权威三维模型库，涵盖50个物体类别、23,519个高质量纹理模型及35万余个部件标注，通过基于Web的众包标注系统实现了细粒度层次化部件标注。该数据集通过引入纹理感知标注与多任务评估框架，显著推动了三维部件分割、部件中心问答等任务的研究进程，为三维结构化理解建立了新的基准。

当前挑战

在三维部件理解领域，现有方法面临细粒度分割与语义一致性难以兼顾的核心挑战。PartNeXt基准测试表明，PartField方法在处理相邻连通区域时易出现分割粘连，SAMesh虽在细粒度分割中表现优异但存在过分割倾向，SAMPart3D则在弱纹理区域难以维持分割连续性。在数据集构建层面，三维部件标注需克服复杂内部结构可视化、非专业标注者培训、跨类别层次化语义体系构建等难题。PartNeXt通过双面板交互界面与AI辅助标注流程，有效解决了纹理缺失标注、部件遮挡识别与标注效率低下等传统痛点，但开放词汇部件标注与跨模态语义对齐仍是未来需要突破的方向。

常用场景

经典使用场景

在三维物体结构理解领域，PartNeXt数据集通过提供带有纹理的精细部件标注，成为评估部件分割算法性能的重要基准。该数据集支持类别无关的部件实例分割任务，使模型能够在不依赖先验类别信息的情况下识别语义部件，尤其擅长处理层次化结构中叶级部件的分割挑战。

衍生相关工作

PartNeXt催生了多项三维理解创新研究，如基于该数据集训练的Point-SAM模型在可提示分割任务中显著超越原有基准。其构建的部件中心问答基准激发了ShapeLLM等三维大语言模型的演进，同时为PartField、SAMesh等分割方法提供了细粒度评估标准，推动开放词汇部件理解技术体系的完善。

数据集最近研究

最新研究方向

PartNeXt数据集作为新一代细粒度层次化三维部件理解基准，正推动计算机视觉与机器人学领域的前沿探索。其核心突破在于融合纹理感知标注与多任务评估框架，显著提升了部件分割的语义粒度与空间连续性。当前研究聚焦于开放词汇部件定位与三维大语言模型的融合，通过部件计数、分类与 grounding 任务揭示现有模型在结构化推理中的局限性。该数据集通过增强的交互式标注系统与跨类别功能层次定义，为部件级生成模型与具身智能研究提供了关键基础设施，尤其在机器人操作与数字孪生应用中展现出变革潜力。

相关研究论文

• 通过

  上海科技大学 · 2025年