zihiao_real_test
收藏资源简介：
本数据集（仓库）包含用于机器人操作任务 '盖子放入容器'（cap_to_tray）的推理代码、模型权重、基座模型及配置文件。模型输入为：桌面头相机 RGB 图像、右腕 D405 相机 RGB 图像、机械臂 TCP 实测位置（毫米）和四元数（wxyz）、六指实测位置（原始计数 0-997），以及可选的触觉垫数据（针对 v10_tactile 变体）。输出为 8 个绝对位姿（4×4 齐次变换矩阵，平移单位毫米）和 8 组六指绝对目标（原始计数）。模型基于 Cosmos3-Edge 基座和 Wan2.2 VAE，提供两个检查点变体：vanilla_rgb_step4000 和 v10_tactile_step4000，每个约 6.3 GB。基座模型（Cosmos3-Edge + Wan2.2 VAE 缓存）约 11.3 GB。训练数据来源于实测流（AgiBot 和 UMI 风格），包含 5902 个训练窗口和 5 条验证 episode。离线评测结果显示，模型在 10 Hz 下预测 8 拍（0.8 秒），误差累积较慢，t8 误差 31.7 mm（vanilla）对比基线 59.5 mm。适用场景：机器人操作中的精确放置任务，特别适合使用扩散策略的滚动时域控制（每 0.8 秒重规划）。
This dataset is for the robotic manipulation task cap_to_tray, containing training data, model weights, inference code, and configuration files. Inputs include a desktop head camera RGB image, a right wrist D405 camera RGB image, the measured TCP position (mm) and quaternion (wxyz), the measured gripper position (raw counts 0-997), and optional tactile pad data (for the v10_tactile variant). Outputs are 8 absolute poses (4×4 homogeneous transformation matrices, translation in mm) and 8 sets of absolute gripper targets (raw counts). The model is based on the Cosmos3-Edge backbone and Wan2.2 VAE, with two checkpoint variants: vanilla_rgb_step4000 and v10_tactile_step4000, each approximately 6.3 GB. The backbone model (Cosmos3-Edge + Wan2.2 VAE cache) is about 11.3 GB. Training data is sourced from real-world streaming (AgiBot and UMI style), containing 5902 training windows and 5 validation episodes. Offline evaluation shows that the model predicts 8 steps (0.8 seconds) at 10 Hz with slow error accumulation: t8 error 31.7 mm (vanilla) vs baseline 59.5 mm. Application scenario: precise placement tasks in robotic manipulation, particularly suitable for receding horizon control using diffusion policy (replanning every 0.8 seconds).
数据集概述
数据集名称：tacWAM wet-lab 策略 — 推理与真机部署
核心任务：将一帧实测机器人状态（10 Hz）转换为八个绝对位姿与八组手指目标，用于机器人操作任务“盖子放入容器”（cap_to_tray）。
目标硬件：xArm6 机械臂 + BrainCo Revo2 右臂右手触觉手套（图鉴 EI-G012），搭配静态桌面头相机与右腕 D405 相机。
模型与检查点
| 项目 | 说明 |
|---|---|
| 模型总参数量 | 3.370 B |
| 可用检查点 | vanilla_rgb_step4000（6.3 GB）<br>v10_tactile_step4000（6.3 GB） |
| 建议先使用 | vanilla_rgb_step4000 |
| 任务类型 | 文本条件（中文任务名“盖子放入容器”），单一任务 |
| 训练数据规模 | 5,902 个训练窗口（10 Hz 模型时钟） |
资源需求
| 项目 | 实测值 |
|---|---|
| 权重显存 | 7.6 GiB |
| 峰值运行显存 | 10.2 GiB（≥16 GB 显存可用） |
| 模型加载时间 | 23–25 秒 |
首次 act() 预热 |
1.2–4.0 秒（务必预热） |
| 单卡即可运行 | 支持 NVIDIA H200（143 GB），PyTorch bf16 |
运行节奏（重要变更）
- 执行全部 8 拍（0.8 秒），每 0.8 秒重规划一次，UniPC 采用 10 步。
- 稳态单次推理耗时：0.66–0.76 秒（10 步），低于 0.8 秒预算。
- 训练建议的“执行前 4 拍、0.4 秒重规划”在实机无法运行（采样耗时 0.39 秒以上，无余量）。
- UniPC 5 步（0.39–0.49 秒）可作降级选项，但误差略高（t8 误差 51.0 mm vs 10 步的 41.8 mm）。
数据包内容与安装
| 压缩包 | 大小 | 内容 |
|---|---|---|
tacwam_wetlab_infer.zip |
12.6 GB | 推理代码 + 两个 checkpoint bundle + 配置 |
base_models.zip |
11.3 GB | Cosmos3-Edge 基座 + Wan2.2 VAE 缓存 |
解压后目录结构包含：new_infer/（推理代码与检查点）、tacwam/（Python 包）、docs/（触觉手套几何及归一化文件）、base_models/（Cosmos3-Edge 基座 8.6 GB + hf_cache Wan2.2 VAE 2.7 GB）。所有组件均需保留，除 vae/ 子目录（1.4 GB 冗余）可删除。
必设两个路径：基座模型路径（覆盖 run_config.json 中训练机绝对路径）及 HF 缓存路径（HF_HOME），设置后无需外网。
输出格式与控制说明
policy.act()返回ActionChunk，包含poses_abs（[8, 4, 4] 齐次变换矩阵，平移单位为毫米）、hand_targets（[8, 6] 手指目标）。- 8 行对应观测时刻后 0.1–0.8 秒（10 Hz），不含观测时刻本身设定点。
- 绝对位姿基于所传入的实测 TCP 坐标系推导，可直接下发。
- 四元数采用 wxyz 顺序；位置单位 毫米；手指目标为原始计数，合法范围 0–997，需用
clipped_hand()夹取后再下发。 - 任务严禁使用欧拉角与轴角表示姿态（存在万向锁及 ±180° 奇点问题），需使用四元数或矩阵形式。
输入观测字段
| 字段 | 形状/单位 | 说明 |
|---|---|---|
rgb_head |
[H,W,3] uint8 | 静态桌面头相机，内部缩放至 256×256 |
rgb_wrist_right |
[H,W,3] uint8 | 右腕 D405 图像 |
tcp_pos |
[3]（毫米） | 手臂末端实测位置 |
tcp_quat_wxyz |
[4]（wxyz） | 手臂末端实测量，须单位化 |
hand_pos |
[6]（0–997 计数） | 手指实测位置 |
timestamp_ns |
int（纳秒） | 时间戳，用于触觉 mRoPE |
tactile_maps |
[30,1,H,W] | 已归一化触觉输入（仅触觉变体） |
taxel_valid |
[30,H,W] bool | 触觉有效性掩码 |
离线评测结果
逐 tick 误差（median，毫米，UniPC 10 步）
| 模型 | t1 | t2 | t3 | t4 | t5 | t6 | t7 | t8 |
|---|---|---|---|---|---|---|---|---|
| 原地不动（基线） | 6.7 | 14.1 | 22.2 | 29.5 | 36.8 | 45.1 | 53.0 | 59.5 |
vanilla@4000 |
6.2 | 11.8 | 14.9 | 19.2 | 23.4 | 27.4 | 30.0 | 31.7 |
tactile@4000 |
5.8 | 11.6 | 17.0 | 22.4 | 28.9 | 36.1 | 39.0 | 41.8 |
两个 checkpoint 从第 1 拍起优于“原地不动”基线，t8 时领先 47%（vanilla）。
方向余弦（median）
vanilla@4000：+0.66 → +0.77；tactile@4000：+0.67 → +0.70（均 ≥ 0.5）。
八道验收门
- 通过 7/8 道：
- 误差控制、方向一致性、步长范围、无方向震荡、优于原地不动等门均通过。
- 未通过：
hand_in_sensor_range（手指范围门）——模型预测手指计数可超出 0–997（预测范围约 −69.5…351.8），需在执行侧用clipped_hand()夹取解决。
关键注意事项
- 模型每拍平均位移 9.38 mm（p95 19.62 mm），代码含 60 mm/拍位移上限保护，仅为最低限度护栏，并非安全系统。
- 采样过程从高斯噪声起步，同一观测两次调用结果不同，需固定随机种子复现。
- 模型是文本条件的，推理时 prompt 必须与训练时逐字一致（中文任务名 + 英文模板），换任务需重新 post-train。
- 触觉数据存在左右重映射需求（数据来自“left”文件但需用作右手输入），代码已封装处理，勿重复操作。
- 需保证所有观测读数来自同一时刻的实测值（非指令值），相机外参、手套贴装及手指编号须与采集时一致。
- 提供的
RobotInterface接口需实现六个方法（头相机、腕相机、TCP 位姿、手指位置、触觉 pad、下发动作），且全部返回实测值。
