Pointer-CAD数据集

Pointer-CAD数据集是由Transcengram联合多所高校构建的计算机辅助设计（CAD）模型数据集，包含57.5万个B-rep格式的模型。该数据集通过扩展OmniCAD基础数据，新增倒角、圆角等工业级操作指令，并采用多视角CAD渲染与Qwen2.5-VL模型自动生成高质量文本描述。其核心创新在于引入指针机制，将几何实体选择与命令序列相结合，显著降低了传统方法中的量化误差。该数据集主要应用于基于大语言模型的CAD生成研究，旨在解决复杂几何结构建模中的拓扑一致性和操作精度问题。

The Pointer-CAD dataset is a computer-aided design (CAD) model dataset constructed by Transcengram in collaboration with multiple universities, comprising 575,000 models in B-rep format. This dataset expands the basic data of OmniCAD, adds industrial-grade operation commands such as chamfers and fillets, and uses multi-view CAD rendering and the Qwen2.5-VL model to automatically generate high-quality text descriptions. Its core innovation is the introduction of a pointer mechanism that combines geometric entity selection with command sequences, significantly reducing the quantization error in traditional methods. This dataset is primarily used for large language model (LLM)-based CAD generation research, aiming to address the issues of topological consistency and operational accuracy in complex geometric structure modeling.

原始信息汇总

Pointer-CAD 数据集概述

基本信息

• 数据集名称：Pointer-CAD
• 官方存储库地址：https://github.com/Snitro/Pointer-CAD
• 关联论文：Pointer-CAD: Unifying B-Rep and Command Sequences via Pointer-based Edges & Faces Selection
• 论文会议：CVPR 2026

作者信息

• Dacheng Qi
• Chenyu Wang
• Jingwei Xu
• Tianzhe Chu
• Zibo Zhao
• Wen Liu
• Wenrui Ding
• Yi Ma
• Shenghua Gao

当前状态

• 代码即将发布。

搜集汇总

数据集介绍

构建方式

在计算机辅助设计领域，高质量数据集的构建是推动生成模型发展的基石。Pointer-CAD数据集通过精心设计的数据标注流程，将约57.5万个CAD模型转化为结构化的训练资源。该流程首先利用Blender对每个CAD模型进行多视角渲染，生成四张全局外观图像和六张草图平面高亮图像。随后，借助Qwen2.5-VL大模型，从渲染图像中自动生成高级别的自然语言描述，包括物体的一词标签和单句概括，以及对草图平面空间位置的宏描述。原始JSON文件被转换为仅包含标注相关元素的精简格式，并整合了文本描述，最终通过Qwen2.5模型生成包裹了维度参数标签的逐步建模指令，形成了兼具几何参数与语义注解的丰富数据集。

特点

Pointer-CAD数据集的核心特点在于其创新的指针式命令序列表示法，该表示法首次在自回归生成框架中显式融入了边界表示模型的几何信息。与传统的纯数值命令序列不同，该数据集引入了指针机制，使得模型在需要选择特定几何实体（如边或面）以执行倒角或圆角等复杂编辑操作时，能够直接引用已有的B-rep元素。这种设计不仅扩展了可支持的操作范围，还通过将预测结果吸附到指针所指的几何实体上，有效降低了因连续变量离散化而产生的量化误差。数据集涵盖了丰富的操作类型，包括草图-拉伸组合、倒角和圆角，并保留了实际参数与单位，真实反映了工业CAD建模的复杂性与多样性。

使用方法

Pointer-CAD数据集主要用于训练和评估基于大语言模型的文本到CAD生成框架。在使用时，生成过程被分解为多个步骤进行自回归预测。每一步的生成都同时以文本描述和上一步已生成的B-rep几何体为条件。数据集中的样本为模型提供了所需的训练信号：模型需要学习预测三类互补的令牌——标签令牌、数值令牌和指针。当操作涉及几何依赖时，指针被激活，从候选的B-rep面或边集合中选择特征最匹配的实体。研究人员可利用该数据集对如Qwen2.5等骨干LLM进行监督微调，通常结合LoRA等参数高效方法，以学习将文本指令与指针增强的命令序列相关联，最终生成拓扑精确、几何保真的CAD模型。

背景与挑战

背景概述

计算机辅助设计（CAD）在现代工程与制造领域扮演着核心角色，但其建模过程高度依赖人工操作，效率低下且耗时。随着大语言模型（LLM）在序列生成任务中展现出强大潜力，研究者开始探索基于文本描述的CAD模型自动生成方法。然而，传统的命令序列表示方法无法支持对几何实体（如边、面）的显式选择，限制了倒角、圆角等复杂编辑操作的实现，同时连续变量的离散化会引入量化误差，导致拓扑失真。为应对这些挑战，由Transcengram、香港大学、北京大学等机构的研究团队于2026年提出了Pointer-CAD数据集。该数据集包含约57.5万个CAD模型，通过创新的指针机制将边界表示（B-rep）的几何信息融入序列建模，不仅支持实体选择，还显著降低了量化误差，推动了文本到CAD生成领域的技术进步。

当前挑战

Pointer-CAD数据集旨在解决文本到CAD生成中的两大核心挑战。在领域问题层面，传统命令序列方法无法处理需要显式选择几何实体的操作（如倒角、圆角），限制了模型对复杂结构的建模能力；同时，草图与拉伸操作中连续参数的离散化容易引发拓扑错误，影响生成模型的几何保真度。在构建过程中，数据集的创建面临多重困难：首先，需要设计一套能够统一B-rep与命令序列的指针表示方法，以准确关联文本指令与几何实体；其次，标注流程需借助多模态大模型生成专家级自然语言描述，并确保描述与几何参数的一致性；此外，数据集中需涵盖倒角、圆角等高级操作，这要求对现有CAD数据集进行扩展与重构，增加了数据清洗与验证的复杂度。

常用场景

经典使用场景

在计算机辅助设计（CAD）领域，生成复杂几何结构一直是自动化建模的核心挑战。Pointer-CAD数据集通过引入基于指针的命令序列表示，为CAD模型的生成提供了经典的使用场景。该数据集支持对边界表示（B-rep）模型中的面和边进行显式选择，从而实现了倒角和圆角等高级编辑操作。这一机制模拟了工程师在CAD软件中的交互过程，使得模型能够根据文本描述逐步构建几何体，并在每个步骤中引用先前生成的B-rep实体，确保了拓扑一致性和几何精度。

衍生相关工作

Pointer-CAD数据集的推出催生了一系列相关研究，推动了CAD生成领域的创新发展。基于其指针表示，后续工作如CAD-MLLM进一步扩展了多模态条件生成能力，整合了文本、图像和点云输入。FlexCAD和CADFusion等研究则利用该数据集的几何引用机制，实现了可控生成和视觉反馈优化。此外，该数据集为基于大语言模型的CAD代码生成方法（如Text-to-CadQuery）提供了对比基准，促进了不同表示形式的性能评估与融合。这些衍生工作共同深化了对CAD序列建模的理解，拓展了自动化设计系统的功能边界。

数据集最近研究

最新研究方向

在计算机辅助设计领域，Pointer-CAD数据集的推出标志着基于大语言模型的CAD生成研究迈入了实体选择与几何精确性融合的新阶段。该数据集通过指针机制将边界表示与命令序列统一，有效解决了传统方法在倒角、圆角等复杂编辑操作中无法精准选择几何实体的瓶颈，同时显著降低了量化误差导致的拓扑失真。这一创新不仅推动了多模态条件生成框架的发展，更为工业级CAD自动化设计提供了高保真、可交互的生成范式，成为当前三维智能建模领域的前沿热点。

相关研究论文

• Pointer-CAD: Unifying B-Rep and Command Sequences via Pointer-based Edges & Faces Selection

  Transcengram; 北京航空航天大学; 香港大学; 深圳循环区研究院; 上海科技大学; 腾讯; DeepSeek; 加州大学伯克利分校 · 2026年