Chairs

本文将图像中的对象类别检测作为一种 2D 到 3D 对齐问题，利用已在线公开的大量 3D CAD 模型。使用“椅子”类作为运行示例，我们提出了一种基于示例的 3D 类别表示，它可以显式地对不同风格的椅子以及视点的大变化进行建模。我们开发了一种在 3D CAD 模型和真实照片之间建立基于零件的对应关系的方法。这是通过以下方式实现的：(i) 使用一组依赖于视图的中级视觉元素以区分方式从合成视图中学习到，来表示每个 3D 模型，(ii) 在公共数据集上仔细校准各个元素检测器。负图像，以及（iii）将它们与测试图像匹配，允许小的相互变形，但保留视点和样式约束。我们展示了我们的系统在具有挑战性的 PASCAL VOC 图像上将 3D 模型与 2D 对象对齐的能力，这些图像描绘了复杂场景中的各种椅子。

This paper formulates object category detection in images as a 2D-to-3D alignment problem, leveraging a large corpus of publicly available online 3D CAD models. Using the "chair" category as a running example, we propose an example-based 3D category representation that can explicitly model chairs of diverse styles and large variations in viewpoints. We develop a method to establish part-based correspondences between 3D CAD models and real photographs. This is achieved through the following steps: (i) representing each 3D model using a set of view-dependent mid-level visual elements learned discriminatively from synthetic views; (ii) carefully calibrating individual component detectors on public datasets with negative images included; and (iii) matching these elements to test images, allowing small mutual deformations while preserving viewpoint and style constraints. We demonstrate the capability of our system to align 3D models with 2D objects on challenging PASCAL VOC images, which depict diverse chairs in complex scenes.

搜集汇总

背景与挑战

背景概述

Chairs数据集是一个用于2D到3D对齐的椅子类别检测数据集，包含86.4k条数据，大小为4.6GB。该数据集利用3D CAD模型开发了基于示例的3D类别表示方法，适用于图像CV和语义分割任务，由卡内基梅隆大学等机构于2014年发布。