Fine-Grained VR Sketching Dataset

Fine-Grained VR Sketching Dataset, developed by SketchX at the University of Surrey and iFlyTek-Surrey Joint Research Centre, contains 1,497 pairs of 3D VR sketches and corresponding 3D chair shapes, showcasing large shape diversity. The dataset is designed to facilitate fine-grained analysis in the sketch community and expand it into the actively developing 3D domain. It emphasizes a convenient sketching scenario where sketches are sparse lines, requiring no prior skills or training, and is intended for applications such as fine-grained 3D shape reconstruction. The dataset is available for access to drive novel research insights and applications.

细粒度VR草图数据集（Fine-Grained VR Sketching Dataset）由萨里大学SketchX实验室与科大讯飞-萨里联合研究中心开发，包含1497组3D VR草图与对应的3D座椅模型，展现出丰富的形状多样性。该数据集旨在推动草图研究领域的细粒度分析，并将相关研究拓展至快速发展的3D领域。其聚焦便捷的草图绘制场景，所采用的草图为稀疏线条，无需任何前置技能或训练，可应用于细粒度3D形状重建等任务。该数据集对外开放获取，可为新颖的研究思路与应用开发提供支撑。

原始信息汇总

细粒度VR草图：数据集和洞察

数据集概述

• 名称: SkethchyVR
• 描述: 该数据集包含细粒度VR草图和相应的3D形状对。
• 可用位置:
  • 数据集网页
  • Google Drive (仅点云)

数据收集

• 收集工具: 使用名为SketchyVR的VR草图接口收集数据，参与者使用VR头盔和手柄如Oculus Rift进行沉浸式草图绘制。

数据处理

• 草图过滤: 过滤原始草图的演示脚本位于tools/Filter original sketch.ipynb。
• 点云采样: 从过滤后的草图中采样点云用于训练，采样脚本位于tools/gen_pointcloud.py。
• 点云渲染: 渲染点云文件的脚本位于tools/vis_pc_mitsuba.py，需先安装MITSUBA并替换路径PATH_TO_MITSUBA2。

3D形状检索模型

• 训练脚本:
  • 3D草图基于的3D形状检索: train_triplet_3dv.py
  • 2D草图基于的3D形状检索: train_triplet_view_2d.py

验证数据

• 验证文件:
  • val.txt: 包含101个来自ShapeNetCore的椅子模型。
  • val_shape.txt: 包含更多来自ModelNet10的椅子模型，可从此处下载。
  • ModelNet10椅子形状可从此链接下载。

引用

@inproceedings{luo2021fine, title={Fine-Grained VR Sketching: Dataset and Insights.}, author={Luo, Ling and Gryaditskaya, Yulia and Yang, Yongxin and Xiang, Tao and Song, Yi-Zhe}, booktitle={2021 International Conference on 3D Vision (3DV)}, pages={1003--1013}, year={2021}, organization={IEEE} }

搜集汇总

数据集介绍

构建方式

在虚拟现实技术日益普及的背景下，该数据集聚焦于椅子类别的三维草图与形状配对，共包含1,497对稀疏线条构成的VR草图与对应的3D形状。构建过程强调便捷性，参与者无需绘画技能或预训练，在独立于参考形状的绘图区域中自由创作，并可通过调整线条粗细捕捉细节差异。数据集将参与者分为两组：A组46人每人绘制10个不重叠形状，B组4人绘制更多形状以研究风格演变，最终形成702个训练样本、101个验证样本和202个测试样本。

特点

该数据集的核心特点在于其细粒度与多样性。草图捕捉了椅子类别内形状、尺寸与细节的巨大差异，包括不同亏格值与曲面类型的物体，且参与者风格各异，从粗略轮廓到精细线条均有覆盖。通过记录绘制过程的时间-空间坐标，数据集不仅保留了草图与形状的配对关系，还反映了人类在三维空间中自由绘制的真实能力，包括学习效应与风格演化，为细粒度检索研究提供了丰富的数据基础。

使用方法

数据集适用于细粒度三维草图到三维形状的检索任务，采用点云表示将稀疏草图与形状编码至共享嵌入空间。推荐使用PointNet++编码器与三元组损失进行训练，并通过随机缩放沿三轴进行数据增强以提升性能。训练时可将合成草图作为补充，但需控制其数量不超过人类草图以避免性能退化。评估时需注意草图方向对齐，并利用验证集选择最优超参数，最终在包含5,794个形状的候选集中计算Top-k准确率。

背景与挑战

背景概述

在虚拟现实技术快速渗透消费市场的背景下，三维草图绘制作为连接普通用户与3D技术的重要桥梁，正逐渐成为学术界与工业界关注的焦点。现有草图研究多聚焦于二维图像的细粒度分析，然而二维投影固有的歧义性以及比例描绘的困难，限制了其在三维形状检索中的应用潜力。为突破这一瓶颈，英国萨里大学SketchX团队与科大讯飞联合实验室的Ling Luo等人于2022年首次构建了细粒度三维VR草图数据集（Fine-Grained VR Sketching Dataset），涵盖1497对椅子类别的稀疏线条草图与三维形状对。该数据集强调便捷性与多样性，无需用户具备专业绘画技能，旨在驱动细粒度三维形状检索、三维重建等新兴应用的发展，填补了该领域高质量人类VR草图数据的空白。

当前挑战

该数据集面临的核心挑战在于解决细粒度三维VR草图到三维形状检索的领域难题。首先，人类绘制的稀疏草图与三维形状之间存在显著的域差距，草图中的线条往往存在比例失真与结构扭曲，导致检索模型难以精确匹配同一类别内的细微差异。其次，数据采集过程本身极具挑战性：VR头显尚未普及，参与者需在自由空间中完成稀疏线条绘制，同时避免疲劳效应与学习偏差。此外，训练数据规模有限（702张用于训练），且合成草图虽可补充数据，但过度依赖合成样本反而会降低检索精度。如何设计轻量级编码器以支持新型损失函数、开发结构感知的度量方法以容忍人类草图的变形，成为提升细粒度检索性能的关键瓶颈。

常用场景

经典使用场景

在三维计算机视觉与虚拟现实交叉领域，Fine-Grained VR Sketching Dataset作为首个大规模细粒度3D VR手绘草图与形状配对数据集，其经典使用场景集中于细粒度三维形状检索。研究者利用该数据集中的1,497对椅子类别的稀疏线条草图与对应三维模型，通过将草图与形状编码至共享嵌入空间，实现了从三维草图到三维形状的实例级精准匹配。该场景突破了传统二维草图因投影歧义性导致的检索精度瓶颈，借助VR自由空间绘制的三维线条，有效捕捉形状的立体比例与结构细节，为跨模态三维数据检索提供了全新的基准范式。

衍生相关工作

该数据集衍生了一系列影响深远的研究工作。在检索算法方面，后续工作基于其提供的训练与评估框架，探索了变形感知损失、图神经网络编码器及多模态融合策略，以更好地应对人类草图中固有的形变与抽象性。在数据生成领域，该数据集催生了更逼真的合成草图生成方法，通过对抗训练或风格迁移技术弥合合成数据与真实手绘之间的域差距。此外，研究者受其启发构建了跨类别细粒度VR草图数据集，将应用场景从椅子拓展至交通工具、家具等更多领域，并推动了VR草图驱动的三维模型生成与编辑研究，如从稀疏线条直接重建完整三维曲面的算法。

数据集最近研究

最新研究方向

在三维视觉与虚拟现实交汇的前沿，细粒度VR草图数据集正引领着从粗粒度类别识别向实例级精准检索的范式转变。该数据集首次构建了涵盖1,497组稀疏三维VR草图与对应椅子三维形状的大规模配对资源，聚焦于利用低门槛、无需专业技巧的自由空间勾勒，弥合三维草图与形状检索间的细粒度鸿沟。研究热点集中于通过点云编码器（如PointNet++）与对比损失函数的协同优化，探索人类草图与合成数据的互补增强策略，以及数据规模、风格多样性对检索精度的非线性影响。这一方向不仅为VR交互中的即时三维模型导航提供了实证基础，更推动了变形感知度量与轻量化编码器设计等新兴课题的发展，为消费级三维内容创作与检索技术的落地铺平了道路。

相关研究论文

• Fine-Grained VR Sketching: Dataset and Insights

  SketchX, CVSSP, University of Surrey 2iFlyTek-Surrey Joint Research Centre on Artificial Intelligence · 2022年