GenCAD-Code

GenCAD-Code数据集是一个包含超过163,671对CAD模型图像和代码的数据集，用于计算机辅助设计代码生成。该数据集由麻省理工学院创建，旨在帮助研究人员开发更准确和可编辑的3D CAD模型，从而在工程设计中提高成本效益和上市时间。数据集包含了从视觉输入直接生成可编辑CAD代码（CadQuery Python）的CAD-Coder模型所需的训练数据。

GenCAD-Code is a dataset containing over 163,671 pairs of CAD model images and codes, tailored for computer-aided design code generation. Developed by the Massachusetts Institute of Technology (MIT), this dataset aims to assist researchers in developing more accurate and editable 3D CAD models, thereby improving cost-effectiveness and shortening time-to-market in engineering design. It provides the necessary training data for the CAD-Coder model, which can directly generate editable CAD code (CadQuery Python) from visual inputs.

原始信息汇总

CAD-Coder数据集概述

基本信息

• 数据集名称：CAD-Coder
• 功能描述：生成基于图像输入的CAD代码（CadQuery Python）
• 模型类型：基于开源视觉语言基础模型进行微调的模型

性能表现

• 在CAD图像的测试集上，CAD-Coder在以下方面优于最先进的闭源和开源代码生成VLMs：
  • 输出Python脚本的有效语法率
  • 生成实体的准确性

相关资源

• 论文：已被IDETC 2025接受，预印本可访问arXiv
• 项目页面：即将发布
• 代码：即将发布

可视化结果

• 包含结果展示图（图片描述为：CAD-Coder Results）

搜集汇总

数据集介绍

构建方式

GenCAD-Code数据集的构建基于对GenCAD数据集的转换，将原有的CAD程序序列转化为CadQuery脚本。具体而言，每个CAD程序由一系列CAD命令组成，每个命令表示为c𝐴? = (𝐴?𝐴?, p𝐴?)，其中c𝐴? ∈ R17，𝐴?𝐴?为命令类型，p𝐴?为相关参数。通过编写转换脚本，将这些CAD命令直接转化为对应的CadQuery代码，最终形成了包含163,671个CadQuery脚本的数据集，每个脚本与五个CAD渲染图像配对。数据集分为训练集、测试集和验证集，分别包含147,289、7,355和9,027个样本。

特点

GenCAD-Code数据集的特点在于其规模庞大且内容多样，涵盖了广泛的CAD模型和对应的代码。数据集的平均每个脚本包含611个token，99.9%的脚本token数不超过3000，反映了从简单到复杂3D实体的广泛分布。此外，数据集通过图像与代码的配对，提供了丰富的视觉与编程结合的学习资源，为CAD代码生成任务提供了坚实的基础。尽管数据集在复杂样本上存在不平衡，但其规模和多样性仍使其成为当前公开的最大的CAD代码与图像配对数据集。

使用方法

GenCAD-Code数据集的使用方法主要集中在CAD代码生成任务的训练与评估上。研究人员可以利用该数据集对视觉语言模型（VLM）进行端到端的微调，以生成可编辑的CadQuery代码。具体而言，输入为CAD渲染图像，输出为对应的CadQuery脚本。数据集的测试子集可用于评估模型的语法有效性（VSR）和几何准确性（IOUbest）。此外，数据集还支持对模型在真实图像和未见CAD操作上的泛化能力进行测试，为CAD自动化工具的开发和优化提供了重要支持。

背景与挑战

背景概述

GenCAD-Code数据集由麻省理工学院的研究团队于2025年创建，旨在推动计算机辅助设计（CAD）领域的自动化进程。该数据集包含超过163,000个CAD模型图像与对应CadQuery Python代码的配对，是目前公开的最大规模CAD代码数据集。其核心研究问题在于解决传统CAD建模流程高度依赖人工操作、耗时且专业门槛高的痛点，通过视觉语言模型实现从图像到可编辑CAD代码的端到端生成。该数据集作为CAD-Coder模型的基础训练资源，显著提升了生成代码的语法准确性和几何相似度，对工程设计和产品创新领域产生了深远影响。

当前挑战

GenCAD-Code数据集面临双重挑战：在领域问题层面，需突破现有AI生成CAD模型的可编辑性局限，解决参数化代码生成中几何精度不足、操作覆盖不完整等难题；在构建过程中，需处理原始CAD程序的语法转换复杂性，确保生成的CadQuery脚本保持参数化特性。具体挑战包括：1) 从有限的基础CAD操作（如线、弧、圆）推导复杂几何特征的代码表示；2) 平衡数据集中简单与复杂模型的比例；3) 保持代码生成结果与输入图像的几何一致性；4) 处理CAD程序与代码脚本之间的非线性参数依赖关系。

常用场景

经典使用场景

在计算机辅助设计（CAD）领域，GenCAD-Code数据集为研究人员和工程师提供了一个强大的工具，用于直接从视觉输入生成可编辑的CAD代码。该数据集通过结合图像和对应的CadQuery Python代码，支持基于视觉语言模型（VLM）的CAD代码生成任务。经典使用场景包括从工程图纸或实物照片生成参数化CAD模型，显著加速了从设计到生产的流程。

实际应用

在实际应用中，GenCAD-Code数据集显著提升了工程设计的效率。设计师可以通过上传实物照片或草图，直接生成可编辑的CAD模型代码，省去了传统手动建模的繁琐步骤。该技术已应用于快速原型设计、逆向工程和自动化制造流程中，例如根据现场设备照片生成维修零件的CAD模型，或在产品迭代中快速修改现有设计。数据集的开源特性还降低了中小企业采用AI辅助设计的门槛。

衍生相关工作

基于GenCAD-Code数据集，研究者们已衍生出多项创新工作。CAD-Coder模型通过微调LLaVA架构，在CAD代码生成任务上超越了GPT-4.5等通用VLMs。后续研究扩展了该数据集的用途，如开发多模态提示系统实现文本+图像联合条件生成，以及探索CAD操作链式推理技术。数据集还催生了新的评估指标（如IOUbest），推动了CAD生成领域从点云匹配向实体几何对齐的范式转变。