遇见数据集

tblock-all-piper-clean

收藏
Hugging Face2026-08-30 更新2026-08-30 收录
官方服务:

资源简介:

从本地tblock-all数据集中筛选出的HandUMI数据集。任务:将T形块放入拼图中。移除了来源片段:50, 52, 53, 55, 56, 58, 64。

The HandUMI dataset filtered from the local tblock-all dataset. Task: Place T-shaped blocks into the puzzle. Removed source segments: 50, 52, 53, 55, 56, 58, 64.

提供机构:
murobotics
创建时间:
2026-08-30
原始信息汇总

数据集概述:tblock-all-piper-clean

基本信息

数据集内容

这是一个经过整理的 HandUMI 数据集,源于本地的 tblock-all 数据集。任务目标为:将 T 形积木放入拼图。数据集共包含 194 个片段(episodes),总计 51,951 帧,全部用于训练(train split 涵盖 0:194 的所有片段)。

数据整理详情

移除的内容

从源数据集 tblock-all 中移除了 7 个片段(编号为 50, 52, 53, 55, 56, 58, 64)。原因均相同:在将动作重定向到 Piper 机器人后,机械臂自身的连杆在片段的持续时间内发生相互交叉干涉,这种情况通过碰撞网格测得,而非保守的胶囊拟合,表明硬件无法实际执行该姿态。

tblock-all 编号 录制编号 总帧数 自碰撞帧数 最大穿透深度 筛选判定
50 tblock3 ep10 417 156 (37.4%) 0.49 cm 拒绝
52 tblock3 ep12 217 90 (41.5%) 1.36 cm 仅警告
53 tblock3 ep13 177 31 (17.5%) 0.58 cm 仅警告
55 tblock3 ep15 211 28 (13.3%) 0.34 cm 仅警告
56 tblock3 ep16 327 133 (40.7%) 0.60 cm 拒绝
58 tblock3 ep18 160 18 (11.2%) 0.05 cm 仅警告
64 tblock3 ep24 374 149 (39.8%) 2.96 cm 拒绝

这 7 个片段均来自同一录制会话。自动化筛选将自碰撞仅标记为警告级别,其中 4 个被自动审核接受;最终由人工审查者观看回放后移除。共移除 1,883 帧,占源数据的 3.5%

保留的内容

以下两类被自动化审查标记的片段被有意保留:

  1. 6 个被筛选拒绝的片段(tblock-all 编号 44, 45, 47, 49, 54, 57):其重定向位置误差超过 3 cm 阈值维持超过 1% 的帧数。经检查,原因是速度上限导致的短暂延迟,而非可达性问题,每个偏差仅持续 0.17 至 0.30 秒,其余部分求解误差仅为 0.3 至 0.6 cm。移除它们会损失大量有效帧。

  2. 被标记为旋转异常的片段:该检查将片段平均方向误差与数据集三倍中位数比较,反映的是录制会话间的工具握持差异,属于记录多样性,因此保留。

数据来源

tblock-all 合并了同一任务的三个录制会话。在合并前,已从其中两个会话中移除了 11 个片段,原因是这些片段是将积木从拼图中取出的复位片段,其演示方向不符任务要求。

每个片段的完整追溯信息详见 meta/handumi_curation.json,可映射回 tblock-all 索引及原始录制会话和片段编号。

适用范围

这些移除操作仅针对 Piper 机器人。自碰撞计算基于该机械臂的重定向轨迹,若换用其他机器人,结果会不同。对于其他机器人,建议使用机器人无关的源数据集 murobotics/tblock-all 作为起始数据。

数据集结构

  • 总片段数:194
  • 总帧数:51,951
  • 任务数:1
  • 帧率(FPS):30
  • 数据文件大小:100 MB
  • 视频文件大小:200 MB
  • 数据路径格式data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频路径格式videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

图像观测(视频):

  • observation.images.left_wrist:480×640×3,H.264 编码,30 fps
  • observation.images.right_wrist:480×640×3,H.264 编码,30 fps
  • observation.images.workspace:376×672×3,H.264 编码,30 fps

状态与动作(float32,维度 16):

  • 包含左右手的 x, y, z 位置、四元数姿态 (qx, qy, qz, qw) 以及夹爪宽度

Feetech 夹爪数据:

  • 左右夹爪的 ticks、宽度(毫米)、归一化值、采样时间、序列、健康状态

追踪数据:

  • 左右设备控制器位姿(7 维)、有效跟踪标志、头戴显示器位姿、工作空间到设备的位姿、时间戳、序列号

有效性标志(8 维):

  • 跟踪有效性、姿态有效性、时钟同步、连接状态、流媒体状态

同步与时间戳:

  • 目标时间、录制时间、各相机采样时间及序列

索引信息:

  • timestampframe_indexepisode_indexindextask_index

复现方式

bash handumi dataset curate <tblock-all> --output tblock-all-piper-clean --exclude 50,52,53,55,56,58,64

元数据配置

  • 机器人类型:HandUMI 原始数据(handumi_raw)
  • 代码库版本:v3.0
  • 录制设备:Pico
  • 目标机器人:Piper(配置来自 configs/robots/piper.yaml
  • 状态语义:工作空间控制器姿态 7 维 + 夹爪宽度
  • 采集模式:同步多种数据源(追踪 + Feetech + 相机)
  • 相机帧率:30 fps
  • Feetech 采样频率:100 Hz
二维码
社区交流群
二维码
科研交流群
商业服务