openarm-cube-in-box-v1

openarm-cube-in-box-v1 是一个机器人数据集，包含100个成功的拾取放置episodes，在MuJoCo模拟环境中记录，使用OpenArm双手机器人（左臂活动，右臂停放）。任务为将立方体放入盒子中：一个4厘米的橙色立方体随机出现在桌子左侧可到达的位置；机器人拾取它并将其放入一个固定的蓝色开口盒子（内部尺寸16x16厘米）中。数据集用于ACT风格策略训练，由Qualia Studios的Kael代理在Qualia平台上收集。数据格式为LeRobot v3.0，帧率25 fps，总帧数2214，包括来自左腕、右腕和基础摄像头的视频（480x480x3）、左臂关节状态（9个浮点数）和动作（8个浮点数）。成功episodes基于立方体在盒子内且速度低于5厘米/秒的标准过滤，从144次尝试中选出100次成功（成功率69.4%）。所有数据均为MuJoCo 3.x模拟数据，非真实机器人数据。

openarm-cube-in-box-v1 is a robot dataset containing 100 successful pick-and-place episodes, recorded in a MuJoCo simulation environment using the OpenArm dual-arm robot (left arm active, right arm parked). The task is place the cube in the box: a 4 cm orange cube randomly appears in reachable positions on the left side of the table; the robot picks it up and places it into a fixed blue open box (inner dimensions 16x16 cm). The dataset is used for ACT-style policy training, collected by the Kael agent from Qualia Studios on the Qualia platform. The data format is LeRobot v3.0, with a frame rate of 25 fps and a total of 2214 frames, including videos from the left wrist, right wrist, and base cameras (480x480x3), left arm joint states (9 floats), and actions (8 floats). Successful episodes were filtered based on criteria where the cube is inside the box and its speed is below 5 cm/s, selecting 100 successes from 144 attempts (success rate 69.4%). All data is from MuJoCo 3.x simulation, not real robot data.

原始信息汇总

数据集概述：openarm-cube-in-box-v1

数据集地址：https://huggingface.co/datasets/qualia-robotics/openarm-cube-in-box-v1

许可证：Apache-2.0
任务类别：机器人学
标签：LeRobot, openarm, mujoco, simulation, pick-and-place, rl-generated

---

数据集描述

该数据集包含 100 个成功的“抓取-放置”场景，由 OpenArm 双臂机器人在 MuJoCo 仿真环境中执行。任务是将一个 4 厘米的橙色立方体放置在固定的蓝色无盖盒子（内尺寸 16x16 厘米）中。

• 收集者：Kael（Qualia Studios agent）
• 用途：适用于 ACT 风格策略训练
• 格式：LeRobot v3.0 数据集，帧率 25 fps，总共 2214 帧

---

数据键值及说明

键名	形状	说明
observation.images.wrist_left	480x480x3 视频	左腕鱼眼摄像头（执行抓取的手臂）
observation.images.wrist_right	480x480x3 视频	右腕鱼眼摄像头（未使用的手臂，提供环境上下文）
observation.images.base	480x480x3 视频	基座桅杆鱼眼摄像头，全景工作区视图
observation.state	float32 (9,)	左臂关节位置（弧度）：joint1..joint7, finger_joint1, finger_joint2
action	float32 (8,)	绝对位置控制目标（MuJoCo data.ctrl[0:8]）：joint1..joint7 目标（弧度），及夹爪目标（手指控制范围）
task	string	"place the cube in the box"

---

摄像头设置

• 所有三个摄像头在 MuJoCo 中渲染为 120 度视场角（针孔模型），后通过 OpenCV remap 转换为等距鱼眼投影（鱼眼圈外部分为黑色）。
• 两个腕部摄像头安装在手腕下方；基座摄像头位于躯干上方的桅杆，向下俯视工作区。

---

数据收集过程

• 策略：链式 PPO（基于 stable-baselines3），包含抓取阶段和放置阶段，在稳定抓取提升连续 10 个控制步后切换。
• 控制频率：100 Hz 位置增量（最大 0.10 弧度/步）。每 4 个控制步捕获一帧，因此 fps = 25。记录的动作是每 4 步窗口结束时发出的绝对关节目标，可直接用作 ACT 的位置控制目标。
• 成功筛选：仅保留立方体最终稳定位于盒子内的场景（环境检查：立方体 xy 在内壁内，z 在盒子内部，速度 < 5 cm/s）。共 144 次尝试，100 次成功（成功率 69.4%），随机生成初始位置。
• 场景长度：每段 19 至 34 帧（平均 22.1 帧），约 0.9 秒机器人操作时间。

---

场景设置

• 立方体生成位置：x 在 [0.25, 0.33]，y 在 [0.15, 0.38]，在左肩周围半径 [0.20, 0.42] 的可达区域内进行拒绝采样。
• 盒子位置：固定于 (0.35, -0.13)，带有 ±1 厘米随机抖动。
• 起始姿态：每个场景从预设的悬停姿态开始：夹爪张开，位于立方体上方 12 厘米处。

---

训练注意事项

• 抓取瞬间，左腕摄像头会被立方体完全遮挡（极近距离）。基座摄像头始终保持无遮挡的工作区视图。Gemini 评判结果：通过（可用性评分 3.5/5）。
• 右腕摄像头主要看到未使用的右臂和躯干，任务信息较少，仅为保持摄像头插槽完整性而保留。
• 右臂从未被驱动；observation.state 和 action 仅覆盖左臂。
• 所有数据均来自仿真环境（MuJoCo 3.x），非真实机器人数据。