UIUC D3Field

场景表示一直是机器人操纵系统中至关重要的设计选择。理想的表示应该是 3D、动态和语义的，以满足不同操作任务的需求。然而，以前的作品往往同时缺乏这三个属性。在这项工作中，我们引入了 D 3 Fields——动态 3D 描述符字段。这些字段捕获底层 3D 环境的动态并对语义特征和实例掩码进行编码。具体来说，我们将工作空间中的任意 3D 点投影到多视图 2D 视觉观察上，并插入从基础模型派生的特征。由此产生的融合描述符字段允许使用具有不同上下文、样式和实例的 2D 图像来实现灵活的目标规范。为了评估这些描述符字段的有效性，我们以零样本的方式将我们的表示应用于广泛的机器人操作任务。通过对现实场景和模拟的广泛评估，我们证明了 D 3场对于零样本机器人操作任务来说既可推广又有效。在与最先进的密集描述符（例如密集对象网络和 DINO）的定量比较中，D 3 Fields 表现出明显更好的泛化能力和操作准确性。