RealCAD

RealCAD数据集是由南洋理工大学等机构收集的，包含多视角图像和相应的CAD命令序列对。该数据集通过3D打印技术制作的不同材料和纹理的CAD模型捕获得到，用于评估从不受约束的图像生成CAD命令序列的方法。

The RealCAD dataset was collected by Nanyang Technological University and other institutions, which contains multi-view images paired with their corresponding CAD command sequences. This dataset is captured from CAD models with different materials and textures manufactured via 3D printing technology, and is used to evaluate methods for generating CAD command sequences from unconstrained images.

搜集汇总

数据集介绍

构建方式

RealCAD数据集的构建过程充分考虑了计算机辅助设计（CAD）领域的实际需求，通过3D打印技术将150个精选的DeepCAD测试集模型实体化，并采用多视角自由拍摄方式采集图像数据。研究团队使用iPhone等普通设备，在自然光照条件下从四个不同角度（前左、前右、后左、后右）对具有多样化材质和纹理的3D打印模型进行图像采集，刻意避免了专业3D扫描设备的使用，以模拟真实用户的使用场景。这种构建方式有效弥合了合成数据与现实数据之间的领域鸿沟，为CAD逆向工程研究提供了宝贵的真实世界基准数据。

特点

RealCAD数据集的核心价值在于其独特的真实世界属性与严谨的多模态标注。作为首个将3D打印CAD模型与多视角图像及对应CAD命令序列配对的数据集，它突破了传统合成数据的局限性。数据集包含600组高质量样本（150个模型×4视角），每张图像均保留自然光照条件下的真实纹理特征，同时配备精确的参数化CAD命令序列标注。特别值得注意的是，数据集通过几何不变性设计（深度图与法线图提取）有效解决了合成训练数据与真实测试数据之间的纹理差异问题，为跨域泛化研究提供了理想平台。

使用方法

该数据集主要服务于CAD逆向工程与生成模型的评估验证，研究人员可通过多视角图像重建精确的参数化CAD模型。使用流程分为三个阶段：首先利用预训练的几何特征提取器（如Metric3D）从输入图像获取深度和法线信息；随后通过几何编码器融合多视角特征，作为潜在扩散模型的生成条件；最终采用直接偏好优化（DPO）策略，利用自动代码检查器提升生成序列的几何有效性。数据集特别适用于验证模型在合成数据训练后对真实场景的泛化能力，评估指标包括命令准确率、参数准确率、倒角距离中值以及编译失败率等维度。

背景与挑战

背景概述

RealCAD数据集由南洋理工大学、A*STAR研究所等机构的研究团队于2025年提出，旨在解决从无约束图像生成计算机辅助设计（CAD）模型的关键挑战。该数据集的核心研究问题聚焦于逆向工程领域，即如何从用户随意拍摄的真实世界图像中重建可编辑的CAD参数化命令序列。作为CADCrafter框架的重要组成部分，RealCAD填补了真实世界CAD数据匮乏的空白，其创新性地采用3D打印技术制作具有多样材质纹理的CAD模型，并通过多视角图像采集构建了首个真实场景下的CAD图像-命令对数据集。这一突破性工作显著推动了制造业数字化转型和数字孪生技术的发展，为基于视觉的CAD建模提供了新的研究范式。

当前挑战

RealCAD数据集面临双重挑战：在领域问题层面，需要克服图像与CAD参数化表示之间的模态鸿沟，包括从二维像素空间到三维参数化建模指令的转换精度问题，以及处理真实图像中复杂的相机位姿、光照条件和物体纹理变化。在构建过程层面，主要存在三大技术难点：一是真实CAD数据采集的高成本问题，迫使研究者采用合成数据训练与真实数据测试的跨域学习范式；二是CAD命令序列编译过程的不可微分性，导致模型训练缺乏显式几何监督；三是多视角几何信息与单视角输入的矛盾，需要通过知识蒸馏实现视图间特征对齐。这些挑战使得该数据集成为测试跨域生成模型鲁棒性的重要基准。

常用场景

实际应用

在实际应用层面，RealCAD数据集为制造业数字化转型提供了重要支持。基于该数据集开发的CADCrafter系统能够将随意拍摄的产品照片快速转换为可编辑的CAD模型，显著降低了产品逆向工程的成本。在工业设计领域，设计师可以通过简单的产品照片快速获取基础CAD模型，大幅提高设计效率。此外，该技术还可应用于文物数字化保护、建筑信息模型（BIM）等领域，为实物对象的数字化建模提供了便捷途径。

衍生相关工作

RealCAD数据集衍生了一系列重要的相关研究工作。在CAD生成领域，它推动了基于几何特征的跨域生成方法发展，如CAD-SIGNet的层间交叉注意力机制。在3D生成模型方面，该数据集启发了对几何精度要求的重新思考，促进了像MeshGPT等注重几何准确性的生成模型发展。此外，数据集采用的DPO优化方法也为其他需要严格几何约束的生成任务提供了借鉴，如建筑图纸生成和机械零件设计等领域。