can_to_martino_2
收藏资源简介:
该数据集记录了在Unitree G1机器人上进行的全身遥操作实验,于2026年8月25日录制。机器人从一张低桌子上捡起一个罐子,并将其放置到一张白色桌子上。数据集包含95个episode,共187,224帧,帧率为50fps。任务提示为将罐子带到白色桌子。数据模式包括:观测状态(31维浮点数组,包含29个关节角度和左右夹爪位置)、动作(66维浮点数组,包含64维SONIC运动令牌和左右夹爪命令)、以及三个摄像头图像(头部、左腕、右腕,均为480x640像素视频)。已知问题:左夹爪在所有帧中均保持为0.0,即实际为单手操作,右夹爪正常工作(38%帧中闭合)。数据来自11次录制会话,丢弃了操作员丢弃的episode和一个2.2秒的短片段,所有episode被重新标记为单一提示。
This dataset records whole-body teleoperation experiments conducted on a Unitree G1 robot, recorded on August 25, 2026. The robot picks up a can from a low table and places it onto a white table. The dataset contains 95 episodes with a total of 187,224 frames at 50fps. The task prompt is bring the can to the white table. Data modalities include: observation state (31-dimensional float array containing 29 joint angles and left/right gripper positions), action (66-dimensional float array containing 64-dimensional SONIC motion tokens and left/right gripper commands), and three camera images (head, left wrist, right wrist, all 480x640 pixel videos). Known issue: The left gripper remains at 0.0 in all frames, indicating it is actually a single-hand operation; the right gripper works normally (closed in 38% of frames). Data comes from 11 recording sessions, with episodes discarded by the operator and one 2.2-second short segment removed; all episodes are relabeled with a single prompt.
数据集概述:can_to_martino_2
基本信息
- 数据集名称:can_to_martino_2
- 许可证:Apache 2.0
- 任务类型:机器人学(Robotics)
- 标签:LeRobot、unitree_g1、sonic
- 数据格式:Parquet 文件(
data/*/*.parquet)
任务描述
该数据集记录了 Unitree G1 机器人进行全身遥操作(Whole-body teleoperation)的过程,具体任务是机器人从低桌上拿起一个罐子,并将其放置到白色桌子上。录製日期为 2026-08-25。
数据规模
- 回合数(Episodes):95
- 总帧数(Frames):187,224
- 帧率(FPS):50
- 代码库版本:v3.0
- 任务提示:
Bring the can to the white table
数据类型与结构
| 特征 | 数据类型 | 形状 | 内容 |
|---|---|---|---|
observation.state |
float32 | [31] | 29 个身体关节(按 G1_29_JointIndex 顺序)加左右夹爪 |
action |
float32 | [66] | 64 维 SONIC 运动令牌,加左右夹爪 |
observation.images.ego_view |
视频 | [480, 640, 3] | 头部摄像头 |
observation.images.left_wrist |
视频 | [480, 640, 3] | 左手腕摄像头 |
observation.images.right_wrist |
视频 | [480, 640, 3] | 右手腕摄像头 |
动作对应关系:action[t] 是产生 observation.state[t+1] 的命令,因此每个回合比录制帧数少一帧。
已知问题:左夹爪失效
observation.state[29]和action[64]在所有帧中恒为0.0,实际录制为单臂操作。- 这些维度的
q01/q99在meta/stats.json中手动设置为0/1,以避免分位数标准化除以零。 - 使用该数据训练的策略将无法开合左手。
- 右夹爪正常(在 38% 的帧中处于闭合状态)。
- 其余通道均正常:所有 64 个令牌维度和 29 个关节均有变化。
数据来源与处理
- 由 11 次录制会话合并而成。
- 已移除操作员在采集过程中丢弃的回合,以及一个 2.2 秒的短片段。
- 所有会话使用了五种不同的任务提示(描述同一行为),最终统一重新标记为单一提示。
- 该数据集是
nepyope/can_to_martino的后续版本(后者包含 44 个回合),使用相同设备和流程录制。



