grasp03-sim-real-v6

该数据集名为grasp03-sim-real-v6，是LeRobot项目的一部分，专门用于机器人抓取任务，具体涉及使用xArm7机械臂和WujiHand手爪进行自上而下的杯子抓取。数据集结合了模拟轨迹（基于Genesis模拟器，采用光线追踪渲染）和真实世界遥操作演示。模拟轨迹通过新的处理管道重新渲染，以匹配真实世界回放时应用的平滑处理，从而使模拟和真实数据具有相似的信号特性。数据集包含820个episodes，任务为从顶部抓取杯子并抬起，帧率为20 FPS，状态和动作维度均为27维（包括7个机械臂自由度和20个手部自由度，手部数据按深度优先搜索顺序排列）。提供两个摄像头视角：observation.images.third_person（第三人称视角）和observation.images.wrist（手腕视角），分辨率均为640×480。数据来源包括模拟轨迹（基于运动学回放，v6管道处理）和真实演示（来自不同文件路径），并详细描述了场景随机化（如杯子、基座和机器人的颜色随机化）、模拟管道处理步骤（包括平稳帧过滤、平滑处理和运动学传送）、相机序列号、对象信息（杯子模型）以及许可证（Apache 2.0）。

This dataset, named grasp03-sim-real-v6, is part of the LeRobot project, specifically designed for robotic grasping tasks focusing on top-down cup grasping using the xArm7 robotic arm and WujiHand gripper. The dataset combines simulated trajectories (based on the Genesis simulator with ray-tracing rendering) and real-world teleoperation demonstrations. The simulated trajectories are re-rendered through a new processing pipeline to match the smoothing applied during real-world playback, ensuring that simulated and real data exhibit similar signal characteristics. The dataset contains 820 episodes, with the task of grasping a cup from its top and lifting it. The frame rate is 20 FPS, and both the state and action dimensions are 27-dimensional, including 7 degrees of freedom (DOFs) for the robotic arm and 20 DOFs for the hand, where the hand data is ordered via a depth-first search sequence. Two camera views are provided: observation.images.third_person (third-person view) and observation.images.wrist (wrist-mounted view), both with a resolution of 640×480. The data sources include simulated trajectories (kinematic playback, processed via the v6 pipeline) and real-world demonstrations (from distinct file paths). Additional details cover scene randomization (e.g., color randomization of cups, bases, and robots), simulation pipeline processing steps (including smooth frame filtering, smoothing, and kinematic teleportation), camera serial numbers, object information (cup model), and the license (Apache 2.0).

原始信息汇总

数据集概览

名称
grasp03-sim-real-v6

任务
顶部抓取杯子并提起（Grasp mug from top and lift）

许可协议
Apache 2.0

---

数据规模与组成

• 总集数：820 个 episode
• 帧率：20 FPS
• 状态/动作维度：27 维（7 个机械臂关节 + 20 个灵巧手自由度，手部自由度按 DFS 顺序排列）

各来源分布

索引范围	数量	来源	说明
0–781	782	仿真（运动学回放，v6 管线）	394 个 xy 偏移 ±5 cm + 388 个 xy 偏移 ±10 cm
782–783	2	真实（旧数据），步长=2	每段约 109 帧
784–791	8	真实，来自 /workspace/rank2_4/	无步长，每段约 132 帧
792–819	28	真实，来自 grasp_data_real/run_20260523_*	无步长，每段约 130 帧

---

传感器与相机

• 相机

  • observation.images.third_person（第三人称）
  • observation.images.wrist（腕部）
    分辨率均为 640×480

• 真实相机序列号

  • 第三人称：213522251462
  • 腕部：128422272701

---

仿真管线（v6 运动学回放）

对每个仿真 episode 的源文件 arm_reach_sim_log.npz 进行预处理，然后执行运动学遥控+渲染：

1. 固定帧过滤（max_keep=5）：剔除冗余帧，条件为 max|arm_t - arm_{t-1}| ≤ 1e-3 且 max|hand_t - hand_{t-1}| ≤ 5e-3，每次停顿最多保留 5 个连续帧。
2. 中心移动平均平滑（窗宽=7，2 次通过，保留端点）应用于：
   • robot_dofs[:, :7]（机械臂状态）
   • robot_dofs[:, 7:]（手部状态）
   • ctrl_target[:, :7]（机械臂命令，用作 action）
   • ctrl_target[:, 7:]（手部命令）
   • obj_pose[:, :3]（物体位置）
   • obj_pose[:, 3:7]（物体四元数，平滑后重新归一化）
3. 运动学遥控：在每一保留帧上，将机器人 DOF 设置为平滑后的 robot_dofs，将物体放置到平滑后的 obj_pose，然后渲染两个相机。

手部 DOF 从仿真的 BFS 布局转换为数据集的 DFS 布局，使用排列 PERM_BFS_TO_DFS = [5*j + i for i in range(5) for j in range(4)]。

该管线与真实机器人上回放相同仿真轨迹时使用的 replay_xarm_wuji_openloop.py（--arm-joint-smooth-window 7 --passes 2）的平滑处理一致。

---

场景随机化

对于每个场景组（物体 + pedestal_h + xy + euler），为以下三项采样三种互不相同的随机塑料颜色（成对 RGB L2 距离 ≥ 0.4）：

• 杯子（物体）
• 底座（杯子下方的盒子）
• xArm7 + WujiHand 机器人

仿真背景为灰色穹顶。底座为 12×12 cm 的盒子，高度在 [0.13, 0.17] m 范围内随机。

---

物体

杯子模型文件：94134b02-c73e-4f2c-ad1d-a00a78160d98.glb（每个 episode 的缩放比例不同）。

---

机器人

• 机械臂：xArm7
• 灵巧手：WujiHand