遇见数据集

can_to_martino_2

收藏
Hugging Face2026-08-25 更新2026-08-25 收录
官方服务:

资源简介:

该数据集记录了在Unitree G1机器人上进行的全身遥操作实验,于2026年8月25日录制。机器人从一张低桌子上捡起一个罐子,并将其放置到一张白色桌子上。数据集包含95个episode,共187,224帧,帧率为50fps。任务提示为将罐子带到白色桌子。数据模式包括:观测状态(31维浮点数组,包含29个关节角度和左右夹爪位置)、动作(66维浮点数组,包含64维SONIC运动令牌和左右夹爪命令)、以及三个摄像头图像(头部、左腕、右腕,均为480x640像素视频)。已知问题:左夹爪在所有帧中均保持为0.0,即实际为单手操作,右夹爪正常工作(38%帧中闭合)。数据来自11次录制会话,丢弃了操作员丢弃的episode和一个2.2秒的短片段,所有episode被重新标记为单一提示。

This dataset records whole-body teleoperation experiments conducted on a Unitree G1 robot, recorded on August 25, 2026. The robot picks up a can from a low table and places it onto a white table. The dataset contains 95 episodes with a total of 187,224 frames at 50fps. The task prompt is bring the can to the white table. Data modalities include: observation state (31-dimensional float array containing 29 joint angles and left/right gripper positions), action (66-dimensional float array containing 64-dimensional SONIC motion tokens and left/right gripper commands), and three camera images (head, left wrist, right wrist, all 480x640 pixel videos). Known issue: The left gripper remains at 0.0 in all frames, indicating it is actually a single-hand operation; the right gripper works normally (closed in 38% of frames). Data comes from 11 recording sessions, with episodes discarded by the operator and one 2.2-second short segment removed; all episodes are relabeled with a single prompt.

提供机构:
nepyope
创建时间:
2026-08-25
原始信息汇总

数据集概述:can_to_martino_2

基本信息

  • 数据集名称:can_to_martino_2
  • 许可证:Apache 2.0
  • 任务类型:机器人学(Robotics)
  • 标签:LeRobot、unitree_g1、sonic
  • 数据格式:Parquet 文件(data/*/*.parquet

任务描述

该数据集记录了 Unitree G1 机器人进行全身遥操作(Whole-body teleoperation)的过程,具体任务是机器人从低桌上拿起一个罐子,并将其放置到白色桌子上。录製日期为 2026-08-25。

数据规模

  • 回合数(Episodes):95
  • 总帧数(Frames):187,224
  • 帧率(FPS):50
  • 代码库版本:v3.0
  • 任务提示Bring the can to the white table

数据类型与结构

特征 数据类型 形状 内容
observation.state float32 [31] 29 个身体关节(按 G1_29_JointIndex 顺序)加左右夹爪
action float32 [66] 64 维 SONIC 运动令牌,加左右夹爪
observation.images.ego_view 视频 [480, 640, 3] 头部摄像头
observation.images.left_wrist 视频 [480, 640, 3] 左手腕摄像头
observation.images.right_wrist 视频 [480, 640, 3] 右手腕摄像头

动作对应关系action[t] 是产生 observation.state[t+1] 的命令,因此每个回合比录制帧数少一帧。

已知问题:左夹爪失效

  • observation.state[29]action[64] 在所有帧中恒为 0.0,实际录制为单臂操作。
  • 这些维度的 q01/q99meta/stats.json 中手动设置为 0/1,以避免分位数标准化除以零。
  • 使用该数据训练的策略将无法开合左手。
  • 右夹爪正常(在 38% 的帧中处于闭合状态)。
  • 其余通道均正常:所有 64 个令牌维度和 29 个关节均有变化。

数据来源与处理

  • 由 11 次录制会话合并而成。
  • 已移除操作员在采集过程中丢弃的回合,以及一个 2.2 秒的短片段。
  • 所有会话使用了五种不同的任务提示(描述同一行为),最终统一重新标记为单一提示。
  • 该数据集是 nepyope/can_to_martino 的后续版本(后者包含 44 个回合),使用相同设备和流程录制。
二维码
社区交流群
二维码
科研交流群
商业服务