switch-train-1028v1

# Switch616：π0.5，308任务各2条 当前发布版本：`pi05_switch616_anchor_uniform_v3`。**616条Switch、130840个anchor、独立memory示范0条。** 请解压到全新目录，避免旧SmolVLA统计、tokenizer或采样表残留。 ## 本轮训练数据定义 - 只使用616条Switch，全部anchor等权，运行时shuffle。 - 不对三个配置额外加权；没有固定30000×128采样计划。 - 不混入1693条常规LIBERO。每配置2条是数量平衡，未强行改成任务等概率抽样。 - 原始state8维、action7维、horizon10及有效动作mask保留；模型内部state/action按官方变换补齐32维。 - 22模板目录、完整Task、subgoal标签、无把手GT、unavailable保留；实际616条使用19模板。 先前将旧E3配方描述为896实际采用的策略不准确，已撤回。本版不会继承那份额外加权和normal混采配方。 ## 下载与校验 先查看`TRAINING_READY.json`：应为ready=true且revision=`pi05_switch616_anchor_uniform_v3`。训练需要8个包：核心＋7个双相机图像分片。16个原始HDF5／视频包另行提供，全套完成以`UPLOAD_COMPLETE.json`为准。 下载仓库根目录最新`download_training.py`后： ```bash python download_training.py --data-dir ./pi05_switch616_v3 # 如果需要完整原始HDF5及视频，等待完整标记后： python download_training.py --include-raw --data-dir ./pi05_switch616_full_v3 ``` 脚本先下载根目录清单，再下载分包，逐包检查大小、SHA256并解压。可在`training_archives_manifest.json`和`archives_manifest.json`查看清单。不要用旧下载目录中的缓存清单绕过版本核验。 ## 官方OpenPI接入 固定源码：https://github.com/Physical-Intelligence/openpi/tree/215abfb217dbac7d5f1273282331b9b1866c0479 按该提交README安装依赖（Python>=3.11）。使用现有π0.5工程的模型权重和GPU环境；本数据包不包含初始化权重、SmolVLA Processor或SmolVLA tokenizer。 ```bash export SWITCH616_ROOT=/absolute/path/pi05_switch616 python "$SWITCH616_ROOT/code/install_openpi.py" --openpi-root /absolute/path/openpi cd /absolute/path/openpi # 为当前数据／动作定义重新计算统计： SWITCH616_STATS_ONLY=1 uv run scripts/compute_norm_stats.py --config-name pi05_switch616_norm # 正式训练；batch、step、设备数由运行配置／CLI选择： uv run scripts/train.py pi05_switch616 --exp-name switch616_pi05 ``` `pi05_switch616`继承固定提交的官方`pi05_libero`配置，模型为`Pi0Config(pi05=True, action_horizon=10, discrete_state_input=False)`，内部action_dim=32。原始动作已经是LIBERO相对控制，不添加DeltaActions。官方配置的默认batch256和30000训练步是可修改的运行配置，不是编码在数据中的抽样计划；不再强制batch128或3:1混采。 Tokenizer、Normalize、ResizeImages、PadStatesAndActions由官方PaligemmaTokenizer和ModelTransformFactory等处理链完成。原始模型输入state/action的8/7维与内部32维要明确区分。batch样本按全部130840锚点均匀shuffle，不使用WeightedRandomSampler或预生成索引计划。 ## 新统计与实测 本包`assets/switch616/norm_stats.json`已通过真实官方`compute_norm_stats.py`入口重算，包含mean/std/q01/q99，没有继承SmolVLA统计，也没有隐式复用预训练统计。 本数据接口提供`pi05_switch616_norm`统计专用配置，batch40恰好完整覆盖130840锚点，且只读取state/action缓存。这个40不是训练batch。安装器的显式适配会排除invalid padding动作，并让官方统计输出位置与训练实际加载位置都指向`$SWITCH616_ROOT/assets/switch616/`。更换数据、动作变换或归一化设定后需要重算；若显式复用预训练统计，应另行记录来源和匹配依据。 已经在隔离CPU环境实际执行固定提交的官方入口：遍历130840个state、1280320个有效action向量；验证官方Tokenizer、模型变换、32维补齐及统计加载路径。全部130840个prompt使用官方PaliGemma tokenizer核验，最长99 tokens，低于官方配置200上限，无截断。 ## MAIN224坐标与必要接口扩展 原始HDF5图像为256，训练缓存及模型图像为224。formatter直接将MAIN224点输出为<y,x>，不再转换到MAIN256；无效点为unavailable，无抽屉把手GT，无视觉箭头。原始state/action规格不是模型内部补齐后的规格。 以下两项属于本数据接入扩展，**不称为官方默认训练设置**： 1. 保留并应用有效时间步mask：无效padding步不计loss，每anchor按有效步平均；模型32个动作通道的平均方式沿用官方。norm统计也排除无效动作。当前安装器提供JAX接入；PyTorch训练需要等价移植，不能静默忽略mask。 2. 保护文本坐标：仅对本坐标输入关闭主视角随机crop/rotation，保留官方颜色增强；普通非坐标输入仍使用官方几何增强。否则文本MAIN224点与经过裁剪／旋转的图像会错位。 安装器备份原文件，并新增本缓存dataset factory、mask传递和以上显式适配。它面向该固定提交，不能不经核对套用其他分支。先前v2的统计输出／加载位置和坐标增强问题已修正。 ## 在线协议与评测 execute4、subgoal交接清空动作队列属于可单独配置的在线执行协议，不是官方训练超参数。训练保留完整合格示范尾部，不因Target首次达成截断“目标→最后关屉”。动作valid mask与阶段标签是两个不同字段。 配套主Switch评测为1540例、308配置；30例memory为额外泛化测试，不能再称为本版出现过的完整训练指令；常规LIBERO另行评测。Target SR／Instruction SR独立于阶段完成，注明native或adjusted口径。 ## 内容与验证边界 `dataset_manifest.json`保存616成员、原切换步和监督范围；`switch/`保存缓存、计划、点、阶段和mask；`configs/`只有技能／π0.5定义，没有旧batch计划、normal索引、额外权重；`assets/switch616/`只有新π0.5统计。原始HDF5、视频从16个raw分包解压到相同目录。 本轮完成数据筛选与重编号检查、全部动作／标签／点对应检查、覆盖每轨迹首中尾及分片边界的1860锚点图像抽查；官方stats入口与实际输入变换、mask传递及几何增强隔离测试通过。未加载π0.5完整权重，未运行完整模型前后向或训练，不宣称已完成模型训练。 原始采集、人工保留与初始化来源记录继续保留；本次筛选不新增官方LIBERO初始化认证。