EgoMimic

EgoMimic数据集包含用于模仿学习的扩展性数据，特别是通过第一人称视频获取的人类和机器人数据。数据集包括杂货、洗衣和碗放置任务的示例。

The EgoMimic dataset contains scalable data for imitation learning, particularly human and robotic data acquired through first-person videos. The dataset includes examples of grocery, laundry, and bowl placement tasks.

原始信息汇总

EgoMimic: Scaling Imitation Learning through Egocentric Video

数据集概述

EgoMimic 数据集包含人类和机器人操作的数据，用于模仿学习。数据集包括以下任务的样本：

• 杂货处理 (Groceries)
• 洗衣处理 (Laundry)
• 碗放置 (Bowlplace)

数据结构

数据集以 HDF5 格式存储，包含以下文件：

• groceries_human.hdf5
• groceries_robot.hdf5
• smallclothfold_human.hdf5
• smallclothfold_robot.hdf5
• bowlplace_human.hdf5
• bowlplace_robot.hdf5

数据处理

数据处理脚本位于以下目录：

• egomimic/scripts/aloha_process/: 将原始的 Aloha 风格数据处理为 robomimic 风格的 HDF5 文件。
• egomimic/scripts/aria_process/: 将 Aria 眼镜采集的人类数据处理为 robomimic 风格的 HDF5 文件。

数据下载

可以通过以下命令下载样本数据： bash mkdir datasets cd datasets

Groceries

wget https://huggingface.co/datasets/gatech/EgoMimic/resolve/main/groceries_human.hdf5 wget https://huggingface.co/datasets/gatech/EgoMimic/resolve/main/groceries_robot.hdf5

Laundry

wget https://huggingface.co/datasets/gatech/EgoMimic/resolve/main/smallclothfold_human.hdf5 wget https://huggingface.co/datasets/gatech/EgoMimic/resolve/main/smallclothfold_robot.hdf5

Bowlplace

wget https://huggingface.co/datasets/gatech/EgoMimic/resolve/main/bowlplace_human.hdf5 wget https://huggingface.co/datasets/gatech/EgoMimic/resolve/main/bowlplace_robot.hdf5

训练与评估

快速开始

使用样本数据进行训练的命令如下： bash python scripts/pl_train.py --config configs/egomimic_oboo.json --dataset /path/to/bowlplace_robot.hdf5 --dataset_2 /path/to/bowlplace_human.hdf5 --debug

详细实验命令

详细实验命令参见 experiment_launch.md。

离线评估

离线评估命令如下： bash python scripts/pl_train.py --dataset <dataset> --ckpt_path <ckpt> --eval

自定义数据处理

处理自定义数据的详细说明参见 data_processing.md。

搜集汇总

数据集介绍

构建方式

EgoMimic数据集的构建基于对人类和机器人操作的深入分析。通过使用Aria眼镜收集人类行为数据，并结合机器人远程操作数据，该数据集将原始的aloha风格数据处理成适用于robomimic训练的hdf5格式。这一过程包括对数据的预处理、标准化以及格式转换，确保数据集在训练模型时的兼容性和高效性。

特点

EgoMimic数据集的显著特点在于其跨模态的数据整合能力，涵盖了从人类到机器人的多种操作行为。此外，数据集支持多种算法训练，如Egomimic、ACT和mimicplay，提供了丰富的实验环境。其结构化的数据存储方式和详细的处理指南，使得用户能够轻松地进行自定义数据处理和模型训练。

使用方法

使用EgoMimic数据集进行训练时，用户可以通过提供的配置文件和训练脚本快速启动训练过程。数据集支持Pytorch Lightning框架，并启用了DDP（Distributed Data Parallel）以提高训练效率。用户还可以通过Huggingface平台下载示例数据集，进行初步的模型验证和调试。详细的实验启动指南和数据处理说明确保了用户能够顺利进行模型训练和实际应用。

背景与挑战

背景概述

EgoMimic数据集由乔治亚理工学院的研究团队创建，专注于通过自我中心视频扩展模仿学习的领域。该数据集的核心研究问题是如何利用人类和机器人操作的自我中心视频数据，提升机器人模仿学习的能力。EgoMimic不仅包含了人类使用Aria眼镜记录的数据，还包括了远程操作机器人数据，旨在通过这些多源数据提升机器人学习复杂任务的能力。该数据集的发布对机器人学和人工智能领域具有重要影响，为研究者提供了一个丰富的资源库，以探索和验证新的模仿学习算法。

当前挑战

EgoMimic数据集在构建过程中面临多项挑战。首先，数据的多源性要求开发复杂的处理流程，以确保不同来源的数据能够无缝集成。其次，自我中心视频数据的处理和标注需要高度的技术精度和计算资源，以确保数据的准确性和可用性。此外，如何有效地利用这些数据进行机器人模仿学习，仍是一个开放的研究问题，特别是在处理复杂任务和动态环境时，模型的泛化能力和鲁棒性仍需进一步提升。

常用场景

经典使用场景

在仿真学习领域，EgoMimic数据集以其独特的视角和丰富的数据类型，成为研究者们探索人类行为模仿的重要工具。该数据集通过收集自Aria眼镜和机器人远程操作的数据，提供了多样的日常生活任务场景，如购物、洗衣和碗具摆放。这些数据不仅支持算法在虚拟环境中的训练，还为实际机器人操作提供了宝贵的参考，特别是在需要高度精细动作控制的场景中，如家庭服务机器人和医疗辅助设备的操作。

实际应用

在实际应用中，EgoMimic数据集为机器人技术的落地提供了坚实的基础。通过训练基于该数据集的模型，机器人能够在复杂和动态的环境中执行任务，如家庭清洁、物品整理和厨房助手等。此外，该数据集的应用还扩展到医疗领域，如辅助康复训练和老年人护理，通过模仿人类护理者的动作，提升机器人辅助治疗的效率和安全性。

衍生相关工作

EgoMimic数据集的发布催生了一系列相关的经典工作，特别是在机器人学和人工智能的交叉领域。研究者们基于该数据集开发了多种模仿学习算法，如ACT和MimicPlay，这些算法在多个国际会议和期刊上发表，并被广泛引用。此外，EgoMimic还激发了对自我中心视角数据处理和分析的新方法研究，推动了计算机视觉和机器人技术的共同进步。