Housekeep

我们介绍了Housekeep，这是一个评估家庭中体现AI的常识性推理的基准。在Housekeep中，具体化的代理必须通过重新布置放置错误的对象来整理房屋，而无需明确指示需要重新布置哪些对象。相反，代理必须从中学习并根据人类对哪些对象属于整洁房屋中的位置的偏好进行评估。具体来说，我们收集了一个数据集，其中人类通常将对象放置在构成1799对象，268对象类别，585放置和105房间的整洁和不整洁的房屋中。