SketchMobility

SketchMobility是由爱丁堡大学和清华大学联合构建的大规模CAD物体铰接建模数据集，包含约5,000个跨类别带运动参数的3D模型实例。数据集通过合成用户草图标注扩展了PartNet-Mobility的局限性，每个实例提供原始几何、可动部件标签、运动参数及对应草图输入。其构建过程结合了专业铰接标注与程序化草图生成技术，支持基于草图的部件发现与运动参数预测任务。该数据集主要应用于计算机图形学领域，旨在解决CAD物体铰接建模中数据稀缺性、可控性不足及跨类别泛化难题，为草图驱动的交互式3D建模系统提供基准支持。

SketchMobility is a large-scale articulated CAD object modeling dataset jointly developed by the University of Edinburgh and Tsinghua University, containing approximately 5,000 cross-category 3D model instances with motion parameters. This dataset addresses the limitations of PartNet-Mobility by incorporating synthetic user sketch annotations. Each instance provides raw geometry, movable part labels, motion parameters, and corresponding sketch inputs. Its construction process combines professional articulated annotation and procedural sketch generation techniques, supporting sketch-based part discovery and motion parameter prediction tasks. Primarily applied in the field of computer graphics, this dataset aims to solve the challenges of data scarcity, insufficient controllability and cross-category generalization in articulated CAD object modeling, providing benchmark support for sketch-driven interactive 3D modeling systems.

原始信息汇总

数据集概述

• 数据集名称：SketchMobility
• 所属项目：Sketch2Arti（基于草图的CAD物体关节建模系统）
• 数据集用途：用于训练和评估基于草图的关节建模方法，支持可动部件发现、运动参数预测及内部结构生成。

数据集内容

• 数据类型：包含多种3D CAD物体的草图-关节对应数据。
• 样本特点：涵盖了现有关节建模基准中较少出现的非寻常关节物体（如直升机、摩托车等）。
• 类别分布：
  • 报告了主要类别（占比≥1.5%），其余次要类别合并为“其他”（占比17.9%）。
  • 具体类别分布图见数据集的图8右侧。

数据获取与使用

• 数据集的详细样本展示和统计信息可在项目页面查看（图8）。
• 项目提供了论文、代码、演示视频及数据下载链接（页面中标注为“Data”的链接）。

搜集汇总

数据集介绍

构建方式

SketchMobility数据集由研究者从三个异构数据源精心汇编而成：首先，从PartNeXt中筛选出14个具内在可动性的类别，经严格质量过滤后保留2,174个实例；其次，引入Shape2Motion中的2,440个形状，涵盖户外与机械类别以增强运动多样性；最后，通过程序化生成技术合成500个关键类别实例。总计5,114个全可动形状覆盖48个类别。每个实例的关节标注通过轻量级WebGL界面完成，包括语义分组、运动属性定义与交互式可视化验证。在此基础上，研究团队设计了一套模仿人类手绘行为的草图合成管线：提取真实3D运动轨迹的2D投影，对其施加随机几何扰动以模拟绘制不完美性，最后拟合为贝塞尔曲线呈现。

特点

SketchMobility呈现出三大独有特质：其一，它是首个专为基于草图的关节建模任务设计的大规模基准，填补了现有数据集在该研究方向上的空白；其二，相较于仅覆盖有限室内类别的PartNet-Mobility，本数据集包含了直升机、摩托车等罕见可动物体类别，显著拓展了领域覆盖范围与运动类型多样性；其三，每个实例均配备了完整的几何网格、可动部件标签、精确运动参数以及对应的合成草图，且草图经扰动处理以贴近真实手绘风格，有效弥合了训练域与实际应用域之间的分布差异。这些特性使数据集成为训练类别无关、泛化性强的关节预测模型的理想基础。

使用方法

使用SketchMobility时，研究者可利用其预划分的训练、测试与验证子集（70%/20%/10%），基于约76,000个训练样本进行模型训练。每个样本由2D草图、可动部件掩码、深度图、法向图及真实运动参数构成，易于接入基于图像与几何的多模态学习框架。数据集的类别无关设计支持在任意视角下仅关注局部几何线索进行关节推理，因此可用于训练可推广至未见类别的关节预测模型。此外，数据集包含完整的URDF模型输出，可直接用于物理仿真，为下游应用如交互式动画与机器人操作提供便利的数据支撑。

背景与挑战

背景概述

SketchMobility数据集由清华大学与爱丁堡大学等机构的研究人员于2025年前后创建，旨在填补基于草图进行关节建模这一新兴研究领域的空白。在计算机图形学与三维建模领域，传统运动部件识别与参数推断多依赖文本、图像或点云输入，受限于PartNet-Mobility等既有数据集的类别覆盖与规模，导致模型泛化能力薄弱且用户可控性有限。SketchMobility的提出，为基于草图的CAD物体关节建模提供了首个专用基准，其核心研究问题在于如何从稀疏的二维笔画中精准定位可动部件、推断其运动类型与参数，并完成内部缺失几何结构的生成。该数据集包含约5000个涵盖48个类别的精细标注三维形状及合成草图，有力推动了交互式、高泛化性关节建模技术的发展。

当前挑战

SketchMobility所应对的领域挑战在于实现从模糊二维笔画到精确三维关节结构的跨模态映射，这要求模型同时解决三个核心难题：可动部件在几何上的定位（where）、运动类型与参数（如旋转轴、平移方向）的推断（how），以及运动暴露后内部缺失结构的生成（what）。现有方法常因依赖全局类别语义而泛化能力不足，而草图自身的稀疏性与歧义性进一步加剧了推断难度。在数据集构建过程中，研究人员面临的挑战包括：从来源各异的数据（如PartNeXt、Shape2Motion）中统一并精化运动标注，通过引入随机扰动的草图合成管线模拟真实手绘风格以弥合域间差距，以及设计层级化分割策略以从三维基础模型中筛选出符合关节语义的部件。这些复杂环节共同确保了数据集在规模、多样性与标注质量上的可靠性。

常用场景

经典使用场景

SketchMobility数据集为基于草图的可动性建模研究提供了首个大规模基准资源。其经典使用场景在于，通过用户绘制的简单二维笔画（如箭头或铰链线）来驱动三维CAD物体中可动部件的检测与运动参数推理。该数据集涵盖了来自PartNeXt、Shape2Motion以及程序化生成的5114个精细标注的可动实例，横跨48个类别，支持迭代式多视角建模，使研究者能够在复杂物体上逐步发现并定义多个可动部件的运动学行为。

实际应用

在实际应用中，SketchMobility支撑的草图可动性建模技术可直接嵌入工业设计软件的工作流中，帮助设计师将草图阶段的运动意图快速转化为可交互的数字原型。例如，产品迭代中设计师可通过绘制箭头快速定义门、抽屉或车轮的运动方式，系统自动生成具物理约束的可动组件，并输出标准的URDF模型供下游仿真验证。此外，该技术可服务于机器人操作场景中的物体运动推理、虚拟现实中的交互式物体编辑，以及动画制作中快速赋予静态资产动态行为的需求。

衍生相关工作

SketchMobility的推出催生了一系列旨在突破可动性建模泛化瓶颈的衍生工作。基于其丰富的跨类别草图-运动对应标注，研究者发展了局部感知、类别无关的可动部件分割与运动参数预测框架。此外，该数据集促进了可动性感知的生成式内补研究，使得对壳体模型缺失内部结构的草图引导补全成为可能。未来工作方向包括联合建模形状与可动性、处理复杂耦合运动（如伞的开合），以及构建更细粒度的语义层级分割以提升交互精度。