LEGATO Demonstration Dataset

该数据集包含在模拟环境中生成的演示数据，用于训练视觉运动策略。

This dataset comprises demonstration data generated in simulated environments, dedicated to training visual-motor policies.

原始信息汇总

LEGATO: Cross-Embodiment Visual Imitation for Whole-Body Manipulation using a Wearable Gripper

数据集概述

• 名称: LEGATO
• 类型: 跨体现视觉模仿学习数据集
• 领域: 机器人学
• 描述: 该数据集用于训练和评估跨不同机器人形态的视觉运动技能转移。通过使用手持式夹持器，统一动作和观察空间，使得任务在不同机器人之间定义一致。数据集包括模拟环境中的演示数据和预训练的视觉运动策略模型。

数据集内容

• 演示数据: 提供模拟环境中的演示数据集，链接为 https://utexas.box.com/s/5twb8okdnfr2uhyf4fj3bh5ohu4w3o4r。
• 预训练模型: 提供视觉运动策略的预训练模型，链接为 https://utexas.box.com/s/392bihmqdulcwj5aqndl2w2hohxt1rza。

依赖项

• Python 3.9.2
• Robosuite 1.4.1
• Robomimic 0.3.0
• PyTorch
• pytorch3d

使用说明

• 设置和使用说明请参考 docs/setup.md 和 docs/usage.md。

许可证

• 该数据集和代码基于 MIT 许可证发布。

引用

@misc{seo2024legato, title={LEGATO: Cross-Embodiment Imitation Using a Grasping Tool}, author={Seo, Mingyo and Park, H. Andy and Yuan, Shenli and Zhu, Yuke and Sentis, Luis}, year={2024}, eprint={2411.03682}, archivePrefix={arXiv}, primaryClass={cs.RO} }

搜集汇总

数据集介绍

构建方式

LEGATO Demonstration Dataset的构建基于跨体模仿学习框架，通过手持夹具统一动作和观察空间，确保任务在不同机器人之间的一致性定义。数据集的生成过程包括使用模仿学习训练视觉运动策略，并通过运动不变变换计算训练损失。随后，夹具运动通过逆运动学重新定位为高自由度的全身运动，以实现跨不同体型的技能转移。

特点

该数据集的主要特点在于其跨体模仿能力，能够在不同机器人之间有效转移视觉运动技能。通过统一的动作和观察空间定义，确保了任务执行的一致性。此外，数据集还包括预训练的视觉运动策略模型，这些模型在模拟环境中经过验证，展示了框架在学习和转移技能方面的有效性。

使用方法

使用LEGATO Demonstration Dataset时，用户需首先配置相关依赖环境，包括Python 3.9.2、Robosuite 1.4.1、Robomimic 0.3.0、PyTorch及pytorch3d。随后，用户可以参考提供的文档进行数据集的下载和预训练模型的加载。数据集和模型文件可通过提供的链接获取，用户可根据实际需求进行进一步的实验和应用。

背景与挑战

背景概述

LEGATO Demonstration Dataset是由Mingyo Seo、H. Andy Park、Shenli Yuan、Yuke Zhu和Luis Sentis等研究人员在德克萨斯大学的人机协作研究实验室（UT-HCRL）创建的。该数据集的核心研究问题在于跨体现模仿学习，旨在通过视觉模仿学习实现不同机器人之间的技能转移，从而提高模仿学习的成本效益和可重用性。LEGATO框架通过引入手持式夹持器，统一了动作和观察空间，使得任务定义在不同机器人之间保持一致。该数据集的创建不仅推动了跨体现模仿学习领域的发展，还为机器人技术的广泛应用提供了新的可能性。

当前挑战

LEGATO Demonstration Dataset在构建过程中面临多项挑战。首先，跨体现模仿学习需要克服不同机器人之间运动学形态的差异，这要求设计一种能够适应多种机器人的通用夹持器。其次，数据集的训练过程中，如何有效地计算训练损失并进行运动不变性变换，以确保技能在不同机器人之间的准确转移，是一个技术难点。此外，将夹持器运动重新映射到高自由度的全身运动，需要精确的逆运动学计算，这对算法的精度和效率提出了高要求。最后，数据集的实际应用中，如何确保在模拟环境和真实机器人之间的无缝过渡，也是一个亟待解决的问题。

常用场景

经典使用场景

LEGATO Demonstration Dataset的经典使用场景在于跨体模仿学习，特别是在视觉运动技能的转移上。该数据集通过手持夹具统一了动作和观察空间，使得任务在不同机器人之间能够一致定义。通过模仿学习训练视觉运动策略，并应用运动不变变换来计算训练损失，从而实现高自由度全身运动的逆运动学重定向，显著提升了跨体模仿学习的效率和可复用性。

衍生相关工作

LEGATO Demonstration Dataset的发布催生了一系列相关研究工作，特别是在跨体模仿学习和视觉运动技能转移领域。例如，基于该数据集的研究已经扩展到多机器人协作、自适应控制和实时任务规划等方面。这些衍生工作不仅深化了对跨体模仿学习的理解，也为实际应用中的机器人系统提供了更为丰富和高效的解决方案。

数据集最近研究

最新研究方向

在机器人学领域，LEGATO Demonstration Dataset的最新研究方向聚焦于跨体现模仿学习，旨在通过视觉模仿实现全身操作技能的转移。该数据集支持跨不同机器人形态的模仿学习，通过引入手持式夹持器统一动作和观察空间，确保任务定义的一致性。研究者们利用该数据集训练视觉运动策略，并通过运动不变变换计算训练损失，进而将夹持器运动重新映射为高自由度的全身运动，以实现跨多种机器人形态的技能转移。这一研究不仅提升了模仿学习的成本效益和可重用性，还为大规模机器人技能训练提供了新的可能性。