tblock-all-piper-clean
收藏资源简介:
从本地tblock-all数据集中筛选出的HandUMI数据集。任务:将T形块放入拼图中。移除了来源片段:50, 52, 53, 55, 56, 58, 64。
The HandUMI dataset filtered from the local tblock-all dataset. Task: Place T-shaped blocks into the puzzle. Removed source segments: 50, 52, 53, 55, 56, 58, 64.
数据集概述:tblock-all-piper-clean
基本信息
- 数据集名称:tblock-all-piper-clean
- 任务类型:机器人操作(Robotics)
- 许可证:其他(other)
- 创建工具:LeRobot
- 主页:https://github.com/murobotics-ai/handumi-sw
数据集内容
这是一个经过整理的 HandUMI 数据集,源于本地的 tblock-all 数据集。任务目标为:将 T 形积木放入拼图。数据集共包含 194 个片段(episodes),总计 51,951 帧,全部用于训练(train split 涵盖 0:194 的所有片段)。
数据整理详情
移除的内容
从源数据集 tblock-all 中移除了 7 个片段(编号为 50, 52, 53, 55, 56, 58, 64)。原因均相同:在将动作重定向到 Piper 机器人后,机械臂自身的连杆在片段的持续时间内发生相互交叉干涉,这种情况通过碰撞网格测得,而非保守的胶囊拟合,表明硬件无法实际执行该姿态。
| tblock-all 编号 | 录制编号 | 总帧数 | 自碰撞帧数 | 最大穿透深度 | 筛选判定 |
|---|---|---|---|---|---|
| 50 | tblock3 ep10 | 417 | 156 (37.4%) | 0.49 cm | 拒绝 |
| 52 | tblock3 ep12 | 217 | 90 (41.5%) | 1.36 cm | 仅警告 |
| 53 | tblock3 ep13 | 177 | 31 (17.5%) | 0.58 cm | 仅警告 |
| 55 | tblock3 ep15 | 211 | 28 (13.3%) | 0.34 cm | 仅警告 |
| 56 | tblock3 ep16 | 327 | 133 (40.7%) | 0.60 cm | 拒绝 |
| 58 | tblock3 ep18 | 160 | 18 (11.2%) | 0.05 cm | 仅警告 |
| 64 | tblock3 ep24 | 374 | 149 (39.8%) | 2.96 cm | 拒绝 |
这 7 个片段均来自同一录制会话。自动化筛选将自碰撞仅标记为警告级别,其中 4 个被自动审核接受;最终由人工审查者观看回放后移除。共移除 1,883 帧,占源数据的 3.5%。
保留的内容
以下两类被自动化审查标记的片段被有意保留:
-
6 个被筛选拒绝的片段(tblock-all 编号 44, 45, 47, 49, 54, 57):其重定向位置误差超过 3 cm 阈值维持超过 1% 的帧数。经检查,原因是速度上限导致的短暂延迟,而非可达性问题,每个偏差仅持续 0.17 至 0.30 秒,其余部分求解误差仅为 0.3 至 0.6 cm。移除它们会损失大量有效帧。
-
被标记为旋转异常的片段:该检查将片段平均方向误差与数据集三倍中位数比较,反映的是录制会话间的工具握持差异,属于记录多样性,因此保留。
数据来源
tblock-all 合并了同一任务的三个录制会话。在合并前,已从其中两个会话中移除了 11 个片段,原因是这些片段是将积木从拼图中取出的复位片段,其演示方向不符任务要求。
每个片段的完整追溯信息详见 meta/handumi_curation.json,可映射回 tblock-all 索引及原始录制会话和片段编号。
适用范围
这些移除操作仅针对 Piper 机器人。自碰撞计算基于该机械臂的重定向轨迹,若换用其他机器人,结果会不同。对于其他机器人,建议使用机器人无关的源数据集 murobotics/tblock-all 作为起始数据。
数据集结构
- 总片段数:194
- 总帧数:51,951
- 任务数:1
- 帧率(FPS):30
- 数据文件大小:100 MB
- 视频文件大小:200 MB
- 数据路径格式:
data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet - 视频路径格式:
videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
数据特征
图像观测(视频):
observation.images.left_wrist:480×640×3,H.264 编码,30 fpsobservation.images.right_wrist:480×640×3,H.264 编码,30 fpsobservation.images.workspace:376×672×3,H.264 编码,30 fps
状态与动作(float32,维度 16):
- 包含左右手的 x, y, z 位置、四元数姿态 (qx, qy, qz, qw) 以及夹爪宽度
Feetech 夹爪数据:
- 左右夹爪的 ticks、宽度(毫米)、归一化值、采样时间、序列、健康状态
追踪数据:
- 左右设备控制器位姿(7 维)、有效跟踪标志、头戴显示器位姿、工作空间到设备的位姿、时间戳、序列号
有效性标志(8 维):
- 跟踪有效性、姿态有效性、时钟同步、连接状态、流媒体状态
同步与时间戳:
- 目标时间、录制时间、各相机采样时间及序列
索引信息:
timestamp、frame_index、episode_index、index、task_index
复现方式
bash handumi dataset curate <tblock-all> --output tblock-all-piper-clean --exclude 50,52,53,55,56,58,64
元数据配置
- 机器人类型:HandUMI 原始数据(handumi_raw)
- 代码库版本:v3.0
- 录制设备:Pico
- 目标机器人:Piper(配置来自
configs/robots/piper.yaml) - 状态语义:工作空间控制器姿态 7 维 + 夹爪宽度
- 采集模式:同步多种数据源(追踪 + Feetech + 相机)
- 相机帧率:30 fps
- Feetech 采样频率:100 Hz



