PH2D

该数据集包含了许多人类在多样化场景中执行任务的记录，以及两个位于UCSD和CMU的Unitree H1人形机器人的数据，这些数据是通过远程操作收集的。此外，还包括一个在Mujoco中的Unitree H1人形机器人的数据。This dataset comprises numerous records of humans performing tasks across diverse scenarios, alongside data from two Unitree H1 humanoid robots situated at the University of California, San Diego (UCSD) and Carnegie Mellon University (CMU), which were collected via teleoperation. Additionally, it incorporates data for a Unitree H1 humanoid robot operating in the Mujoco simulation environment.

原始信息汇总

数据集概述

数据集名称

Humanoid Policy ~ Human Policy

数据集简介

该数据集包含用于训练以自我为中心（即不使用手腕摄像头）的人形机器人操作策略的代码库。数据集主要关注核心组件，并提供了少量封装。

数据集结构

• assets: 机器人URDF文件和网格
• cet: 用于回放/推出策略的Mujoco仿真环境，用于代码开发和添加新的实现
• configs: 机器人和仿真环境的配置文件
• data: 数据占位符，包含一些可视化脚本
• docs: 文档
• hdt: 主要学习框架
• sim_test (legacy): 遗留的ALOHA立方体转移测试，作为完整性检查的虚拟示例

支持的算法

• ACT（可选择使用ResNet、DinoV2和CLIP骨干网络）
• Vanilla DP（基于官方Colab）
• RDT（训练器可用，但未经测试）

数据集下载

数据集在HuggingFace上开源，包含以下内容：

• 许多人类在多样化的野外场景中执行论文中描述的任务
• 位于UCSD和CMU的两个Unitree H1人形机器人，通过远程操作收集
• 一个在Mujoco中的Unitree H1人形机器人，通过远程操作收集

下载数据的命令： bash cd data/recordings bash download_data.sh

数据可视化

提供了脚本来检查下载数据中的动作和视觉观察： bash cd data/ python plot_keypoints.py python plot_visual_obs.py

数据格式转换

提供了将自定义的人类/人形数据转换为该数据集格式的指南：

• data/plot_keypoints.py: 3D可视化人类中心表示
• docs/humanoid_mujoco.md: 在Mujoco中回放处理后的数据，确保表示对齐
• hdt/constants.py: 人类中心表示的元素解释

训练

以Mujoco中的玩具人形操作数据和简单的ACT策略为例，启动单GPU训练： bash python main.py --chunk_size 100 --batch_size 64 --num_epochs 50000 --lr 1e-4 --seed 0 --exptid mujoco_sim_test_resnet_100cs --dataset_json_path configs/datasets/mujoco_sim.json --model_cfg_path configs/models/act_resnet.yaml --no_wandb

策略回放

在Mujoco/真实机器人中回放训练和追踪的策略： bash cd ../cet python mujoco_rollout_replay.py --hdf_file_path ../data/recordings/processed/1061new_sim_pepsi_grasp_h1_2_inspire-2025_02_11-22_20_48/processed_episode_0.hdf5 --norm_stats_path ../hdt/mujoco_sim_test_resnet_100cs/dataset_stats.pkl --plot --model_path ../hdt/mujoco_sim_test_resnet_100cs/policy_traced.pt --tasktype pepsi --chunk_size 100 --policy_config_path ../hdt/configs/models/act_resnet.yaml

待办事项

• 添加远程操作脚本以收集更多Mujoco数据
• 缓解Mujoco仿真回放中已知的“粘性手指”摩擦问题
• 更新使用相机支架和脚本收集人类数据的详细说明

搜集汇总

数据集介绍

构建方式

PH2D数据集的构建基于多个人类在多样化场景中执行任务的记录，以及通过远程操作收集的Unitree H1人形机器人数据。数据采集涵盖了真实世界和Mujoco模拟环境中的机器人操作，确保了数据的多样性和广泛性。数据集的构建过程包括对人类和机器人动作的详细记录，并通过脚本进行数据可视化和处理，以确保数据的准确性和可用性。

使用方法

使用PH2D数据集时，用户可以通过提供的脚本下载和可视化数据。数据集支持多种算法的训练，用户可以根据需要选择不同的模型配置和数据集配置进行训练。训练完成后，用户可以在Mujoco模拟环境或真实机器人上进行策略的滚动测试。数据集还提供了详细的文档和脚本，帮助用户将自定义数据转换为数据集所需的格式，以便进一步的研究和开发。

背景与挑战

背景概述

PH2D数据集由加州大学圣地亚哥分校、卡内基梅隆大学、华盛顿大学和麻省理工学院的研究团队联合开发，旨在推动人形机器人操控策略的研究。该数据集的核心研究问题在于如何通过模仿人类行为来训练人形机器人执行复杂的操控任务，尤其是在无腕部摄像头的情况下实现自我中心的操控策略。数据集包含了多样化的真实场景中人类执行任务的记录，以及通过远程操作收集的Unitree H1人形机器人数据。PH2D的发布为人形机器人领域的研究提供了宝贵的数据资源，推动了机器人操控策略的进一步发展。

当前挑战

PH2D数据集在构建和应用过程中面临多重挑战。首先，数据集的核心目标是通过模仿人类行为来训练人形机器人，然而人类行为的多样性和复杂性使得数据采集和标注变得极为困难。其次，数据集的构建依赖于远程操作和模拟环境，这可能导致数据与真实场景之间存在偏差，影响模型的泛化能力。此外，Mujoco模拟环境中的‘粘性手指’摩擦问题尚未完全解决，这进一步增加了数据集的构建难度。最后，如何将人类数据高效地转化为机器人可理解的表示形式，也是该数据集面临的重要技术挑战。

常用场景

经典使用场景

PH2D数据集在机器人学领域中被广泛用于训练和评估人形机器人的操作策略。通过模拟人类在多样化场景中的任务执行，该数据集为研究人员提供了一个丰富的实验平台，用于开发和优化机器人的自主操作能力。特别是在无手腕摄像头的自我中心视角下，PH2D数据集能够帮助研究者更好地理解机器人在复杂环境中的行为模式。

解决学术问题

PH2D数据集解决了机器人学中一个关键问题：如何通过人类数据来提升人形机器人的操作策略。通过提供大量人类在真实场景中执行任务的记录，该数据集使得研究者能够利用这些数据来训练机器人，使其在复杂环境中表现出更高的灵活性和适应性。这一突破不仅推动了机器人操作策略的研究，还为未来的智能机器人发展奠定了坚实的基础。

实际应用

在实际应用中，PH2D数据集被用于开发能够在家庭、医疗和工业环境中执行复杂任务的人形机器人。例如，通过分析数据集中的任务执行记录，研究人员可以设计出能够在家庭环境中协助老年人或残疾人的机器人，或者在工业环境中执行精密操作的机器人。这些应用不仅提高了机器人的实用性，还为社会带来了显著的经济和社会效益。

数据集最近研究

最新研究方向

近年来，PH2D数据集在人形机器人策略学习领域引起了广泛关注。该数据集通过收集人类在多样化场景中执行任务的记录，结合Unitree H1人形机器人的遥操作数据，为研究者提供了丰富的训练资源。当前的研究方向主要集中在如何利用这些数据训练出更加高效和鲁棒的人形机器人操作策略。特别是，基于ACT（Action Chunking with Transformers）算法的研究取得了显著进展，该算法通过结合ResNet、DinoV2和CLIP等骨干网络，显著提升了策略的泛化能力和执行效率。此外，随着扩散变换器（RDT）等新型算法的引入，研究者们正在探索如何进一步优化策略的生成过程，以应对复杂环境中的多样化任务。这些研究不仅推动了人形机器人技术的发展，也为未来智能机器人在实际应用中的落地提供了重要支持。