mrCAD Dataset

github2025-05-01 更新2025-05-02 收录

下载链接：

https://github.com/AutodeskAILab/mrCAD

下载链接

链接失效反馈

官方服务：

资源简介：

mrCAD数据集是通过在线沟通游戏中的参与者配对收集的。在多轮游戏中，设计师和制作者共同合作重新创建目标设计。设计师看到目标设计并向制作者发送指令。制作者看不到目标，因此遵循指令创建和编辑他们的CAD以匹配目标。数据集包含15,163条指令和相应的执行，涵盖6,082个独特的沟通游戏，由1,092对参与者完成，并包括3,166个独特的CAD。数据集分为三个子集：覆盖集、密集集和非常密集集。

The mrCAD dataset is collected from participant pairs in an online collaborative communication game. In multi-round game sessions, a designer and a builder collaborate to reconstruct a target design. The designer views the target design and sends instructions to the builder, who cannot see the target and therefore creates and edits their CAD models to match the target. The dataset contains 15,163 instruction-execution pairs, covering 6,082 unique communication games completed by 1,092 participant pairs, and includes 3,166 distinct CAD models. The dataset is split into three subsets: the Coverage Set, Dense Set, and Very Dense Set.

创建时间：

2025-04-29

原始信息汇总

mrCAD数据集概述

数据集基本信息

名称: mrCAD (Multimodal Refinement of Computer-Aided Design)
论文: mrCAD: Multimodal Refinement of Computer-aided Designs
下载地址: mrcad_dataset.csv.zip

数据集内容

数据量: 15,163条指令及对应执行结果
通信游戏数量: 6,082个
参与者对数: 1,092对
唯一CAD设计数量: 3,166个

数据集分区

覆盖集(coverage set): 2,249个唯一CAD，每个由1-2对参与者成功重建
密集集(dense set): 698个唯一CAD，每个由3-6对参与者成功重建
超密集集(very-dense set): 27个唯一CAD，每个由至少30对参与者成功重建

指令特点

类型: 绘图、文本或两者结合
重点: 多模态细化指令(编辑现有CAD且包含文本和绘图)
现象覆盖: 包括引用、基础等语言现象，以及箭头、描绘和尺寸等非语言现象

数据格式

基本结构: 以试验(trial)为单位组织
关键字段:
- trial_id: 试验标识符
- target_id: 目标设计标识符
- dyad_id: 参与者对标识符
- trial_num: 试验序号
- target: 目标设计的JSON格式
- rounds: 试验回合列表
  - round_num: 回合序号
  - context: 回合开始时设计状态的JSON格式
  - instruction: 设计师的指令
    - text: 文本部分
    - drawing: 绘图笔画的坐标数组
  - execution: 制作者的响应
    - design: 制作者生成的设计JSON
  - edit_execution: 制作者执行的操作
    - edits: 编辑操作列表
    - design: 通过执行操作得到的设计JSON

加载方式

python from datasets import load_dataset mrcad_dataset = load_dataset("mrcad-project/mrcad", trust_remote_code=True)

引用格式

bibtex @misc{mccarthy2025mrcadmultimodalrefinementcomputeraided, title = {mrCAD: Multimodal Refinement of Computer-aided Designs}, author = {William P. McCarthy and Saujas Vaduguru and Karl D. D. Willis and Justin Matejka and Judith E. Fan and Daniel Fried and Yewen Pu}, year = {2025}, eprint = {2504.20294}, archivePrefix = {arXiv}, primaryClass = {cs.AI}, url = {https://arxiv.org/abs/2504.20294} }

搜集汇总

数据集介绍

构建方式

在计算机辅助设计（CAD）领域，多模态交互对于设计精度的提升至关重要。mrCAD数据集的构建采用了一种创新的在线协作游戏模式，通过配对参与者（设计师与制作者）进行多轮互动。设计师基于目标设计生成多模态指令（包含文本和绘图），而制作者则根据指令逐步完善CAD模型。该数据集涵盖了15,163条指令及其执行结果，涉及6,082个独立协作任务和1,092组参与者，最终形成包含3,166个独特CAD设计的资源库。数据采集特别关注多轮次迭代中的跨模态细化指令，确保了数据的动态性和实用性。

特点

mrCAD数据集的核心价值体现在其多模态特性和细粒度标注上。数据集不仅包含常规的文本指令，还整合了绘图轨迹坐标等视觉信息，完整记录了设计迭代过程中的编辑动作序列。根据重构频率，数据被划分为覆盖集（1-2次重构）、密集集（3-6次重构）和超密集集（30+次重构）三个子集，为研究不同复杂度场景提供了梯度支持。每个试验单元均包含目标设计标识、协作组编号、回合序列等元数据，以及设计对象的状态快照、多模态指令和执行轨迹的JSON结构化记录，为分析设计认知过程提供了丰富维度。

使用方法

该数据集通过HuggingFace Datasets库提供标准化访问接口，需预先安装专用Python包处理设计对象的序列化。典型使用流程包括：加载验证集分割后，通过Design类反序列化目标设计，解析每轮次的上下文状态、多模态指令（Instruction对象）和执行轨迹（Execution对象）。研究人员可利用内置工具重建完整设计迭代链条，或通过提供的评估脚本测试视觉语言模型性能。训练阶段支持HuggingFace Accelerate与DeepSpeed框架集成，配置文件预设了动作预测任务的训练参数，便于复现论文中的基准实验。数据集加载时需启用trust_remote_code参数以执行自定义数据处理逻辑。

背景与挑战

背景概述

mrCAD数据集是由Autodesk AI实验室等机构于2025年推出的多模态计算机辅助设计（CAD）精修指令数据集，旨在推动CAD领域的人机协作研究。该数据集通过在线协作游戏的形式收集了15,163条包含文本和绘图的精修指令，涉及1,092组参与者对3,166个独特CAD设计的多轮迭代改进。作为首个专注于多模态CAD精修指令的大规模数据集，mrCAD为研究设计意图传达、跨模态理解和协作编辑等核心问题提供了重要资源，对提升智能CAD系统的交互能力具有开创性意义。

当前挑战

mrCAD数据集面临双重挑战：在领域问题层面，如何准确解析多模态指令中的设计意图仍是核心难题，特别是处理文本描述与绘图标注之间的复杂对应关系；在构建过程中，确保参与者间指令传递的连贯性和设计迭代的可追溯性需要精细的实验设计，而不同参与者对同一设计目标的差异化表达方式也增加了数据标注和标准化的难度。此外，CAD设计的几何精确性与自然语言指令的模糊性之间的鸿沟，为构建可靠的评估基准提出了严峻考验。

常用场景

经典使用场景

在计算机辅助设计（CAD）领域，mrCAD数据集为研究多模态指令的精炼提供了丰富的实验材料。通过模拟设计师与制造者之间的协作过程，该数据集捕捉了大量包含文本和绘图的多模态指令，为研究多模态交互中的语言现象和非语言现象提供了理想平台。数据集中的密集子集特别适合用于研究指令理解与执行的鲁棒性，因为同一设计目标被多个团队独立完成，为比较分析提供了天然条件。

衍生相关工作

mrCAD数据集已催生多个关于多模态指令理解的前沿研究。基于该数据集，研究者开发了新型的视觉-语言模型评估框架，探索了不同模态组合对设计任务完成度的影响。数据集中的密集子集特别启发了关于指令表达多样性的研究，相关成果已应用于改进CAD软件的智能提示系统。该数据集还被扩展用于研究设计意图传递中的认知偏差问题。

数据集最近研究