CMU Food Manipulation

机器人食品操作的一个关键挑战是对各种可变形食品的材料特性进行建模。我们建议使用多模式感官方法与食物互动和玩耍，以促进区分食物中这些特性的能力。首先，我们使用机械臂和一系列传感器（使用 ROS 进行同步）来收集多样化的数据集，其中包含 21 种具有不同切片和特性的独特食品。之后，我们学习视觉嵌入网络，该网络利用本体感受、音频和视觉数据的组合，使用三元组损失公式对食物之间的相似性进行编码。我们的评估表明，通过交互学习的嵌入可以成功提高各种材料和形状分类任务的性能。我们设想这些学习的嵌入可以用作规划和选择最佳参数的基础，以实现更多材料感知的机器人食品操作技能。此外，我们希望通过与研究界分享这个食品游戏数据集来刺激食品机器人领域的进一步创新。