MeshCoder Dataset

MeshCoder数据集是用于3D物体重建的大规模配对对象-代码数据集，包含约100万个物体，涵盖41个类别，每个物体最多可达100个部分。数据集通过使用Blender Python API合成复杂几何体，并训练多模态大型语言模型（LLM）将3D点云转换为可执行的Blender Python脚本。数据集旨在解决现有方法在建模复杂几何结构和缺乏大规模配对数据集的限制，用于3D形状重建和理解的程序化方法。

The MeshCoder dataset is a large-scale paired object-code dataset for 3D object reconstruction. It contains approximately 1 million objects spanning 41 categories, with each object having up to 100 parts. The dataset synthesizes complex geometries using the Blender Python API, and trains multimodal large language models (LLMs) to convert 3D point clouds into executable Blender Python scripts. This dataset aims to address the limitations of existing methods in modeling complex geometric structures and the lack of large-scale paired datasets, and is designed for procedural approaches to 3D shape reconstruction and understanding.

搜集汇总

数据集介绍

构建方式

在三维几何建模领域，MeshCoder数据集的构建采用了一种创新的多阶段流程。研究团队首先开发了一套高度表达性的Blender Python API，能够生成超越简单几何基元的复杂结构。基于这些API，通过参数化采样生成了约1000万个零件级点云-代码对，涵盖基本体、平移体、桥接环、布尔运算和阵列五种几何类型。随后利用Infinigen-Indoor框架生成包含41个类别的100万个三维物体实例，每个物体被分解为语义部件后，通过训练好的零件到代码推理模型为每个部件生成对应代码，并依据空间位置规则将部件代码组装成完整物体代码，最终形成大规模配对的物体-代码数据集。

特点

该数据集在三维形状程序化表示领域具有显著特性。其覆盖41个常见室内物体类别，包含高达百万级规模的物体-代码配对样本，且单个物体的部件数量可超过百个。数据集提供的代码具有明确的语义结构，每个部件均标注有语义标签和空间索引。代码表示支持多种复杂几何操作，包括截面扫描、曲面桥接和布尔运算等，能够精确重构具有复杂内部结构的物体。这种结构化表示不仅实现了几何信息的完整编码，还保留了部件的层次化组织关系。

使用方法

该数据集主要应用于训练多模态大语言模型进行三维形状到代码的转换任务。使用时将点云输入通过基于三平面的分词器转换为形状标记，随后由LLM生成可执行的Blender Python脚本。生成的代码可直接在Blender中运行，重构出具有部件分割的三维网格。这种表示方式支持通过修改代码参数实现几何编辑（如调整尺寸、形状）和拓扑编辑（如改变网格分辨率），同时为三维形状理解任务提供了结构化基础，可通过解析代码中的语义信息辅助大模型进行几何推理。

背景与挑战

背景概述

三维形状重建与编辑是计算机视觉和图形学领域的核心研究方向，旨在将物理对象转化为可编程的数字表示。MeshCoder数据集由上海人工智能实验室与清华大学等机构于2025年联合推出，其核心创新在于通过构建大规模点云与Blender Python脚本的配对数据，实现了从三维点云到可编辑网格代码的端到端生成。该数据集涵盖41类室内物体，包含约百万级样本，通过引入多模态大语言模型，显著提升了复杂几何结构的建模能力，为逆向工程和形状理解任务提供了重要支撑。

当前挑战

在领域问题层面，传统方法受限于简单几何基元与小型数据集，难以捕捉真实物体的复杂结构与拓扑关系。MeshCoder需解决从点云到结构化代码的映射难题，包括多部件语义分解、几何参数精确推断等核心问题。在构建过程中，面临大规模代码-形状配对数据生成的挑战，需设计概率程序合成流水线，并克服部件级代码到整体对象代码的装配复杂性，同时确保生成代码在Blender环境中的执行可靠性。

常用场景

经典使用场景

在三维逆向工程与形状编辑领域，MeshCoder数据集通过将点云数据转化为可编辑的Blender Python脚本，为复杂几何结构的程序化重建提供了标准化基准。该数据集覆盖41类室内物体，包含百万级物体-代码配对样本，支持基于大语言模型的多模态形状到代码转换任务，已成为评估结构化网格生成模型性能的核心实验平台。

解决学术问题

该数据集突破了传统域特定语言在复杂几何建模中的局限性，通过构建表达力更强的Blender API库与大规模配对数据，解决了三维形状程序化表示中几何细节缺失与数据稀缺的学术难题。其代码化表征形式显著提升了形状重建的拓扑编辑能力，并为大语言模型在三维结构理解任务中的推理能力提供了新的研究范式。

衍生相关工作

该数据集催生了系列基于程序化建模的三维视觉研究，如扩展神经符号推理的ShapeCoder框架、结合扩散模型的PartGen生成方法，以及零样本部件分割模型SAMPart3D。这些工作通过融合MeshCoder的语义部件标注与代码表征优势，推动了从几何重建到结构理解的研究范式转变。