Austin Mutex

人类使用不同的方式，例如语音、文本、图像、视频等，与队友交流他们的意图和目标。为了让机器人成为更好的助手，我们的目标是赋予它们遵循指令并理解人类伙伴指定的任务的能力。大多数机器人策略学习方法都专注于任务规范的单一模式，而忽略了丰富的跨模式信息。我们提出了 MUTEX，一种从多模态任务规范进行策略学习的统一方法。它训练基于变压器的架构以促进跨模态推理，在两阶段训练过程中结合屏蔽建模和跨模态匹配目标。训练后，MUTEX 可以遵循六种学习模式（视频演示、目标图像、文本目标描述、文本指令、语音目标描述和语音指令）中的任何一种或它们的组合中的任务规范。我们在新设计的数据集中系统地评估了 MUTEX 的优势，该数据集包含 100 个模拟任务和 50 个现实世界任务，并以不同模态的任务规范的多个实例进行注释，并观察到与专门针对任何单一模态训练的方法相比性能有所提高。

搜集汇总

背景与挑战

背景概述

Austin Mutex是一个多模态任务规范数据集，用于训练机器人通过视频、图像、文本和语音等多种方式理解人类指令。它包含150个任务，由University of Texas at Austin于2023年发布，旨在提升跨模态推理能力。