TIDEE

我们介绍了TIDEE，这是一种具体化的代理，可以根据所学到的常识性对象放置和房间布置先验来整理无序的场景。TIDEE探索家庭环境，检测不在其自然位置的对象，为其推断出合理的对象上下文，在当前场景中定位此类上下文，并重新定位对象。常识先验被编码为三个模块: i) 视觉语义检测器，用于检测不适当的对象; ii) 对象和空间关系的关联神经图存储器，该存储器提出了用于对象重新定位的合理语义容器和表面，iii) 视觉搜索网络，可指导代理的探索，以有效地定位当前场景中的感兴趣的容器以重新定位对象。我们测试TIDEE在AI2THOR模拟环境中整理混乱的场景。
数据集包含8000训练场景、200验证场景和100测试场景，其中每个场景中的五个对象被移出原位。