neuralCAD-Edit

该数据集包含192个编辑请求和384个编辑，用于多模态指导的3D CAD模型编辑任务。

This dataset consists of 192 editing requests and 384 edits, tailored for the multimodal-guided 3D CAD model editing task.

原始信息汇总

neuralCAD-Edit 数据集概述

数据集简介

neuralCAD-Edit 是一个用于多模态指令驱动的3D CAD模型编辑的数据集和基准测试，源自论文《neuralCAD-Edit: An Expert Benchmark for Multimodal-Instructed 3D CAD Model Editing》。

数据集规模

• 包含192个编辑请求。
• 包含384个编辑操作。

数据内容与提供物

• 编辑请求与编辑操作的数据集。
• 用于访问数据的代码。
• 用于数据可视化与分析的工具。
• 支持基础模型通过迭代cadquery脚本细化执行编辑的框架代码。
• 论文中运行的所有基础模型的输出及报告结果。
• 所有自动评估、人工评估和视觉语言模型（VLM）评估结果。

数据获取与存储

• 预计算数据库存储于：https://huggingface.co/datasets/autodesk/neuralCAD-Edit
• 数据集以本地Mongita数据库形式组织。

数据库模式

数据库包含以下集合（表）：

• requests：包含请求的所有信息（视频、转录文本等）。
• edits：包含编辑的所有信息（屏幕截图、Fusion操作等）。
• users：创建请求、编辑或评估/排名的用户（人类或ML模型）。
• breps：包含边界表示（B-rep）的所有信息（.f3d、.smt、.stl文件，等轴测图和六面正交视图图像，DINO v2特征等）。
• ratings：用户对编辑执行的评分。

所有对象（如STEP文件）存储在数据库外的文件树中，数据库通过相对文件路径指向它们。

文件格式与要求

• 模型输出需包含.step文件和包含适当数据的settings.json。
• 必须提供单个右上等轴测视图和6个正交视图（上、下、前、后、左、右）。
• 支持的文件格式包括：.step、.stl、.f3d、.smt，以及相应的图像。

评估与运行

• 提供完整的评估流程代码。
• 支持运行自定义的基础模型/框架。
• 包含数据预处理、基准推理和结果评估的脚本。

搜集汇总

数据集介绍

构建方式

在三维计算机辅助设计领域，数据集的构建需兼顾专业性与多样性。neuralCAD-Edit数据集通过精心设计的流程，采集了192个编辑请求及对应的384次编辑操作。其构建依托于实际CAD编辑场景，融合了视频录制、屏幕截图及Fusion动作记录等多模态数据源，确保每个编辑任务均具备完整的上下文信息。数据以本地Mongita数据库形式组织，涵盖请求、编辑、用户、边界表示及评分等多个关联集合，并通过文件树结构存储外部对象，实现了结构化与可扩展性的统一。

特点

该数据集的核心特点在于其多模态指令驱动的三维CAD模型编辑基准。它不仅提供了丰富的编辑请求与操作实例，还整合了视频、文本转录及几何数据等多种信息形式，为研究跨模态理解与生成任务奠定了坚实基础。数据集结构清晰，包含详尽的边界表示文件、等轴测与正交视图图像，以及预计算的视觉语言模型特征，支持高效的检索与分析。此外，其配套的评估框架涵盖自动、人工及视觉语言模型评分，为方法性能的全面衡量提供了可靠依据。

使用方法

使用neuralCAD-Edit数据集时，研究者需首先克隆代码库并配置相应环境。通过下载预计算数据库并设置存储路径，即可利用提供的Jupyter Notebook进行数据可视化与探索。数据集支持集成自定义基础模型至提供的CAD查询工具链中，用户可通过修改配置与脚本，生成符合要求的STEP文件、视图图像及结构化输出。评估流程可通过运行统一脚本完成，确保结果的可复现性。数据集的文件结构与数据库模式设计兼顾了灵活性与标准化，便于后续扩展与跨研究比较。

背景与挑战

背景概述

在三维计算机辅助设计领域，随着多模态人工智能技术的快速发展，如何实现基于自然语言指令的CAD模型编辑成为前沿研究焦点。neuralCAD-Edit数据集由Autodesk研究团队于近期构建，旨在为多模态引导的三维CAD模型编辑任务提供专家级基准。该数据集包含192个编辑请求与384次编辑操作，通过融合视频、文本转录、几何特征等多模态数据，系统化地捕捉了专业设计师的实际工作流程。其核心研究问题在于探索如何将人类自然语言指令转化为精确的三维几何操作，从而推动智能CAD系统向更高层次的交互性与自动化演进，对计算机图形学、智能制造与生成式设计等领域具有显著的示范价值。

当前挑战

neuralCAD-Edit数据集所针对的领域挑战在于解决多模态指令理解与三维几何编辑之间的语义鸿沟，即如何准确解析开放域的自然语言描述，并将其映射为参数化CAD脚本中的结构化操作。构建过程中的技术挑战包括多模态数据对齐与标注的复杂性，例如从设计会话视频中提取连贯的编辑意图，并确保几何操作的精确再现；同时，数据集的构建需兼顾编辑任务的多样性与真实性，以覆盖从简单特征修改到复杂拓扑重构的广泛场景，这对数据采集协议与质量控制提出了较高要求。

常用场景

经典使用场景

在三维计算机辅助设计领域，neuralCAD-Edit数据集为多模态指令驱动的CAD模型编辑任务提供了标准化评估框架。该数据集通过192个编辑请求和384个具体编辑操作，构建了涵盖文本指令、视觉参考和程序化脚本的多元数据生态。研究者可借助其结构化数据库与评估工具链，系统性地测试生成式模型在理解自然语言指令、解析三维几何特征并生成精确CAD编辑代码方面的能力，从而推动智能设计自动化技术的发展。

实际应用

在实际工业设计流程中，neuralCAD-Edit支持开发能够直接响应设计师自然语言指令的智能辅助工具。例如，设计师可通过语音或文本描述修改需求，系统自动生成对应的CAD脚本并实时预览编辑效果，大幅降低专业软件的操作门槛。这种技术可广泛应用于产品快速迭代、个性化定制以及协同设计等场景，为制造业数字化转型提供高效的人机交互解决方案。

衍生相关工作

基于该数据集衍生的经典工作主要集中在多模态大语言模型与CAD程序生成的结合领域。研究者通过构建端到端的神经架构，实现了从文本指令到CAD操作序列的自动转换，并开发出迭代式cadquery脚本优化框架。这些工作不仅推动了神经符号系统在三维建模中的进展，也为后续研究提供了可复现的基线模型与评估协议，促进了整个智能设计社区的算法创新与技术标准化。