mmABC

mmABC是一个大规模多模态CAD数据集，包含超过130万个基于边界表示（B-Rep）的模型，并带有包括点云、文本描述和多视图图像的多模态注释。该数据集由ABC数据集扩展而来，通过去除相似和多体模型并添加多模态描述构建而成。mmABC旨在促进CAD生成研究，特别是基于B-Rep的生成。该数据集适用于无条件生成和条件生成任务，支持用户根据文本、点云和多视图图像等多种模态输入生成复杂的CAD模型。

mmABC is a large-scale multimodal CAD dataset comprising over 1.3 million boundary representation (B-Rep) based models, paired with multimodal annotations including point clouds, text descriptions, and multi-view images. This dataset is derived from the ABC dataset, constructed by removing similar and multi-body models and adding multimodal descriptions. mmABC aims to advance CAD generation research, particularly B-Rep-based generation. It supports both unconditional and conditional generation tasks, enabling users to generate complex CAD models from multimodal inputs such as text, point clouds, and multi-view images.

搜集汇总

数据集介绍

构建方式

mmABC数据集是基于广泛使用的ABC数据集构建的，通过分解复杂的多体模型为多个基本单模型以增强数据多样性。为确保数据质量，采用6位量化点坐标哈希值过滤相似模型，最终形成包含1,353,251个高质量CAD模型的数据集。多模态标注方面，通过OpenCASCADE渲染14个固定视角图像生成多视图图像，采用表面采样法获取点云数据，并利用视觉语言模型（InternVL2-40B）结合预设提示模板生成多样化文本描述。

特点

mmABC是目前规模最大的多模态CAD数据集，其核心特点体现在三方面：一是覆盖超过130万B-Rep模型，规模远超同类数据集；二是完整包含点云、多视图图像和文本描述三种模态数据，支持跨模态研究；三是采用边界表示法（B-Rep）存储模型，能精确保留几何拓扑关系。相较基于命令序列的现有数据集，mmABC在模型复杂度和几何精度上具有显著优势，为CAD生成任务提供了更丰富的监督信号。

使用方法

该数据集主要应用于多模态条件下的CAD生成任务，使用方法可分为三个层面：首先通过统一的多模态编码器处理图像、点云或文本输入，将其映射为条件嵌入向量；随后采用级联自回归网络分阶段生成边缘和表面令牌，其中边缘生成器以条件嵌入为输入，表面生成器则结合边缘令牌与条件嵌入；最终通过拓扑预测器建立边面邻接关系，重构完整B-Rep模型。实验表明，该方法在点云条件生成任务中Chamfer距离降低至0.64，较基线提升4.47个指标点。

背景与挑战

背景概述

mmABC数据集由上海人工智能实验室和香港中文大学等机构的研究团队于2025年提出，是目前规模最大的多模态CAD数据集，包含超过130万个基于边界表示（B-Rep）的CAD模型及其对应的多视图图像、点云和文本描述。该数据集的构建旨在解决传统CAD设计流程效率低下、依赖专家经验的问题，通过支持文本、点云和图像等多模态输入条件，推动基于深度学习的自动化CAD生成技术的发展。mmABC基于广泛使用的ABC数据集进行扩展和标注，通过模型分解和相似性过滤确保了数据质量，为计算机辅助设计领域提供了首个支持多模态条件生成的大规模B-Rep基准。

当前挑战

mmABC数据集面临的核心挑战体现在两个维度：在领域问题层面，需解决B-Rep表示中复杂的拓扑关系建模难题，包括边缘-曲面层次结构的精确重建，以及多模态输入与几何输出的对齐问题；在构建过程层面，挑战主要来自多模态标注的生成质量控制，包括点云采样密度对曲面特征的保留、文本描述与CAD几何的语义一致性，以及大规模数据中重复模型和复合模型的清洗。此外，将离散操作命令序列转换为连续B-Rep表示时存在几何精度损失，需要通过创新的VAE编码策略来保持建模精度。

常用场景

经典使用场景

在计算机辅助设计（CAD）领域，mmABC数据集通过其丰富的多模态标注（包括点云、文本描述和多视角图像），为基于边界表示（B-Rep）的CAD模型生成提供了重要支持。该数据集广泛应用于无条件生成和条件生成任务，特别是在需要处理复杂几何和拓扑结构的场景中。例如，CMT框架利用mmABC生成具有精确拓扑关系的CAD模型，显著提升了生成质量和多样性。

实际应用

在实际应用中，mmABC数据集为工业设计和制造提供了强大的工具支持。设计师可以通过文本描述、点云或多视角图像快速生成符合需求的CAD模型，大幅缩短设计周期并降低成本。例如，在汽车或航空航天领域，工程师可以利用该数据集生成的模型进行快速原型设计和性能测试，从而加速产品开发流程。此外，mmABC还为教育领域提供了丰富的教学资源，帮助学生更好地理解CAD建模的核心概念。

衍生相关工作

mmABC数据集的发布催生了一系列相关研究和工作。基于该数据集，CMT框架首次实现了基于B-Rep的多模态CAD生成，显著提升了生成模型的拓扑准确性。此外，研究人员还开发了多种条件生成方法，如点云条件生成和图像条件生成，进一步扩展了数据集的应用范围。这些工作不仅推动了CAD生成技术的发展，还为其他领域（如三维重建和几何处理）提供了新的研究思路。