mango_data

MANGO Demonstrations数据集是一个专为机器人学和模仿学习设计的开源数据集，特别关注物体操作任务。该数据集包含150个人工远程操作的演示和150个合成的MANGO演示，覆盖了四个具体任务：堆叠积木、关闭笔记本电脑、堆叠杯子和拾取可乐罐。每个演示数据以`.h5`文件格式存储，包含多个关键字段，如机械臂动作（末端执行器的xyz位移和欧拉角）、末端执行器位置、姿态、四元数、夹爪动作和状态，以及RGB帧（相机观测数据）。此外，数据集还提供了用于训练MANGO图像翻译模型的数据，包括测试集（固定相机和手腕相机的仿真与真实观测图像对）和训练集（未配对的仿真与真实观测图像）。这些数据适用于机器人操作、模仿学习及图像翻译等领域的研究和应用。

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量演示数据对于模仿学习至关重要。MANGO数据集通过融合人类遥操作、合成生成与仿真环境三种数据源构建而成，每种任务均包含150条对应演示。人类演示通过真实机器人遥操作采集，合成数据由MANGO算法生成，仿真数据则确保实验可复现性。数据以H5格式存储，涵盖末端执行器动作、位姿、夹爪状态及多视角RGB图像观测，同时提供图像翻译模型的训练与测试集，支持跨域视觉表征学习。

特点

该数据集以多模态与多源异构为显著特征，不仅整合了真实世界、合成与仿真三种环境下的机器人操作轨迹，还包含丰富的视觉观测数据。其图像翻译部分特别设计了配对与非配对训练集，涵盖固定视角、多样视角及腕部相机等多种观测模式，便于进行跨域视觉适应研究。数据覆盖堆叠积木、关闭笔记本、堆叠杯子与抓取可乐四项日常操作任务，兼具实用性与学术挑战性。

使用方法

研究者可利用该数据集训练端到端的机器人模仿学习模型，通过arm_action与gripper_action学习操作策略，并结合rgb_frames实现视觉伺服控制。图像翻译数据可用于开发域适应模型，将仿真视觉特征映射至真实场景，提升策略的泛化能力。数据已按任务与类型清晰组织，用户可分别加载演示文件进行行为克隆训练，或使用image_translation_data下的子集进行视觉表征学习与跨域评估。

背景与挑战

背景概述

在机器人操作与模仿学习领域，高质量演示数据的稀缺性长期制约着策略泛化能力的提升。MANGO数据集由Jeremiah Cholich及其团队于2024年发布，旨在通过整合人类遥操作演示、合成MANGO演示及仿真演示，为堆叠积木、关闭笔记本电脑、堆叠杯子和拾取可乐罐等四项精细操作任务提供多模态训练资源。该数据集不仅包含末端执行器动作、夹爪状态与视觉观测等关键信息，还引入了图像翻译数据以弥合仿真与真实场景的视觉差异，为推进跨域模仿学习与视觉运动策略研究奠定了重要基础。

当前挑战

MANGO数据集致力于应对机器人模仿学习中策略从仿真向真实世界迁移的核心难题，其挑战主要体现在跨域视觉适配与数据构建复杂性两方面。在领域问题层面，仿真与真实环境间的视觉差异导致策略直接迁移时性能显著下降，需通过无配对图像翻译模型实现视觉特征的对齐；而在构建过程中，人类演示的高成本采集、多视角视觉数据同步标注以及仿真演示的物理真实性保障，均对数据集的规模与质量提出了严峻考验。

常用场景

经典使用场景

在机器人模仿学习领域，MANGO数据集为研究人员提供了丰富的多模态演示数据，涵盖了堆叠积木、关闭笔记本电脑、堆叠杯子和拾取可乐等日常操作任务。这些数据通过人类远程操作、合成生成以及仿真环境三种方式获取，确保了数据的多样性和可复现性。数据集中的机械臂动作、末端执行器位姿、夹爪状态以及RGB相机观测等多维度信息，为开发高效的模仿学习算法奠定了坚实基础，使得模型能够从演示中学习复杂的操作策略，并泛化到真实世界的机器人控制中。

解决学术问题

MANGO数据集有效解决了机器人模仿学习中数据稀缺与仿真到现实迁移的挑战。通过提供配对与非配对的仿真与真实图像数据，该数据集支持图像翻译模型的研究，旨在缩小仿真与真实环境之间的视觉差异。这促进了领域自适应和视觉表征学习的发展，使机器人能够在仿真中训练后，顺利迁移到物理世界执行任务。此外，数据集的多任务结构为研究跨任务泛化与多模态学习提供了实验平台，推动了机器人智能在复杂环境中的适应性提升。

衍生相关工作

围绕MANGO数据集，学术界衍生了一系列经典研究工作，主要集中在模仿学习、视觉领域自适应和机器人操作策略学习等方面。例如，研究人员利用该数据集开发了多任务图像翻译模型，以增强仿真到现实的视觉迁移能力；同时，基于演示数据的强化学习算法被提出，用于优化机器人的操作精度。这些工作不仅扩展了数据集的用途，还促进了机器人学习范式的创新，为后续如跨模态学习、零样本泛化等前沿方向提供了重要参考，推动了整个机器人模仿学习领域的进步。