novastar112/pusht_96_norm4_visual_nomarker

--- license: other language: - en tags: - visgym - pusht - ppo - trajectories - reinforcement-learning - robotics - vision-language pretty_name: PushT PPO 1Hz 30-step Success Trajectories 96px configs: - config_name: default data_files: - split: train path: data/train/*.jsonl.gz - split: test path: data/test/*.jsonl.gz --- # pusht_96_norm4_visual_nomarker 96px PushT PPO successful trajectory dataset. The trajectories are generated by a 1Hz PPO PushT solver with action codec `norm4`, rendered images in `history[*].image`, `image_prev`, and `image_next` at `96x96` and JPEG quality `90`. Each episode is success-only and capped at `30` environment steps. Visual marker mode: `none`. The pusher is rendered with radius `11.0` in 512-space; physics still uses the environment's collision radius. Prompt mode: `first_full_then_step_only`. History image convention: `history[*].image_prev == history[*].image`; `history[i].image_next == history[i+1].image` for non-terminal steps; the terminal step keeps its terminal frame. ## Splits | split | records | format | | --- | ---: | --- | | train | 500,000 | gzip-compressed JSONL | | test | 200 | gzip-compressed JSONL | Train/test initial states are filtered to be disjoint by `init_state_hash`; see `metadata/`. Coordinates in `move` actions use normalized [0, 1] coordinates rounded to exactly four decimal places; execution decodes them back to PushT 512x512 physical coordinates. Rendered images are `96px`. Target Hub repo: `https://huggingface.co/datasets/novastar112/pusht_96_norm4_visual_nomarker`96px PushT PPO successful trajectory dataset. The trajectories are generated by a 1Hz PPO PushT solver with action codec `norm4`, rendered images in `history[*].image`, `image_prev`, and `image_next` at `96x96` and JPEG quality `90`. Each episode is success-only and capped at `30` environment steps. Visual marker mode: `none`. The pusher is rendered with radius `11.0` in 512-space; physics still uses the environments collision radius. Prompt mode: `first_full_then_step_only`. History image convention: `history[*].image_prev == history[*].image`; `history[i].image_next == history[i+1].image` for non-terminal steps; the terminal step keeps its terminal frame. Splits include 500,000 train records and 200 test records, with disjoint initial states filtered by `init_state_hash`. Coordinates in `move` actions use normalized [0, 1] coordinates rounded to exactly four decimal places; execution decodes them back to PushT 512x512 physical coordinates.

搜集汇总

数据集介绍

构建方式

在机器人强化学习与视觉运动表征交汇的研究脉络中，PushT 基准上的成功轨迹数据构成策略学习与离线评估的重要资源。该数据集由 1Hz PPO PushT 求解器生成，动作编码采用 norm4；轨迹以成功为唯一筛选条件，单条回合上限为 30 个环境步。渲染观测覆盖 history[*].image、image_prev 与 image_next，分辨率统一为 96×96，JPEG 质量设为 90。视觉标记模式为 none，推动器在 512 空间以半径 11.0 渲染，物理仿真仍沿用环境碰撞半径。Prompt 模式为 first_full_then_step_only。训练集与测试集依据 init_state_hash 过滤，保证初始状态互斥，并将相关元数据置于 metadata 目录中。

使用方法

围绕机器人策略学习、离线强化学习与视觉时序建模等任务，该数据集提供可直接装载的配置范式。默认配置包含 train 与 test 两个划分，对应 data/train/*.jsonl.gz 与 data/test/*.jsonl.gz；使用者可通过 HuggingFace datasets 接口或通用 gzip JSONL 解析流程读取。每条轨迹可抽取 image、image_prev、image_next 形成视觉历史，并将 move 动作的归一化坐标解码为 PushT 512×512 物理坐标后执行或建模。依托 init_state_hash 的互斥划分，评估时应严格保持测试集隔离，规避状态泄漏。Prompt 模式 first_full_then_step_only 与 30 步上限可作为条件生成、模仿学习及离线策略优化的统一输入约束。

背景与挑战

背景概述

机器人操作与视觉强化学习领域持续寻求可复现的高质量轨迹资源，以检验策略在接触丰富任务中的泛化能力。pusht_96_norm4_visual_nomarker 面向 PushT 二维推块任务，由 1Hz PPO 求解器生成，动作经 norm4 编解码，图像以 96×96、JPEG 质量 90 渲染，每个成功片段至多 30 个环境步。该数据集发布于 Hugging Face Hub，目标仓库为 novastar112/pusht_96_norm4_visual_nomarker，发布者标识为 novastar112，README 未载明具体创建时间与所属机构。其核心问题在于提供成功轨迹供离线强化学习、模仿学习与视觉运动策略研究，并通过 50 万训练记录和 200 条测试记录支撑大规模序列建模。其无标记视觉设置与低频控制协议，对机器人视觉表征、多模态决策和 PushT 基准的可复现评测具有参考价值。

当前挑战

PushT 任务本身要求智能体在连续状态与动作空间中完成精确接触操作，成功样本稀疏且策略需协调推块位姿、目标区域与避碰约束。该数据集以 success-only 与 30 步上限筛选轨迹，可能压缩失败模式与恢复行为，令离线学习面临分布偏移、因果混淆和闭环误差累积风险。视觉标记模式为 none，pusher 仅以 512 空间半径 11.0 渲染而物理碰撞半径另计，96px JPEG 图像又引入分辨率与压缩损失，使位姿估计和接触状态推断更困难。构建层面，需生成 50 万条 PPO 成功轨迹，保证 train/test 初始状态经 init_state_hash 严格不相交，并维持历史帧 image_prev、image、image_next 的时序约定；norm4 动作坐标归一化并四舍五入至四位小数，亦要求解码与物理执行严格一致。

常用场景

经典使用场景

在机器人视觉运动控制与强化学习交叉研究中，PushT作为二维推物基准长期用于检验策略的规划与泛化能力。该数据集以1Hz PPO求解器生成成功轨迹，动作采用norm4编码，并同步提供96×96历史帧、前帧与后帧图像，且不渲染视觉标记，因而适合视觉模仿学习、离线强化学习、世界模型与轨迹预测等经典场景。研究者可基于500000条训练轨迹学习从低分辨率视觉观测到归一化动作的映射，并以200条测试轨迹检验初始状态不相交条件下的泛化表现。

解决学术问题

稀疏奖励长时程操作任务中，成功样本稀缺与视觉观测维度较高常导致策略学习困难。该数据集以仅含成功且步数不超过30的轨迹集合，缓解了正样本不足、信用分配模糊和离线数据分布偏移等问题；规范化的图像历史约定与动作坐标编码，降低了多帧时序对齐与动作解码的歧义。训练集与测试集按init_state_hash隔离，为评估策略在未见初始状态上的泛化提供了较严谨的实验基础，对视觉离线强化学习、模仿学习及生成式轨迹建模具有基准意义。

实际应用

在机器人非抓取操作、推物装配与视觉伺服等实际场景中，智能体需依据低分辨率视觉反馈生成连续动作。该数据集提供96像素JPEG图像与归一化四维动作，在计算与存储成本之间取得平衡，便于训练轻量级视觉策略并进行仿真环境中的快速迭代。成功轨迹上限为30步，契合对短时程精确控制的需求，可服务于推块到目标位姿、障碍规避、示范增强与策略预训练等任务，并为从仿真向真实系统迁移提供可复用的数据组织范式。

数据集最近研究

最新研究方向

在具身智能与视觉-语言-动作模型交汇的背景下，该数据集对应的高前沿方向集中于基于视觉历史与语言提示的离线策略学习。其96像素、无标记与norm4动作编解码设定，为研究低分辨率视觉表征、动作离散化鲁棒性以及30步成功轨迹建模提供了可控基准。相关热点涉及Diffusion Policy、决策Transformer与VLA模型在PushT任务上的策略预训练、微调和评估，也关联Open X-Embodiment推动的跨本体数据聚合。该数据集以50万训练与200测试成功轨迹、经init_state_hash隔离的初始状态，支撑离线强化学习、模仿学习与视觉泛化评测，对提升机器人操作的数据效率、可复现性和稀疏奖励下长时程决策研究具有基础意义。