遇见数据集

novastar112/pusht_96_int1_visual_v2

收藏
Hugging Face2026-05-08 更新2026-05-31 收录
官方服务:

资源简介:

--- license: other language: - en tags: - visgym - pusht - ppo - trajectories - reinforcement-learning - robotics - vision-language pretty_name: PushT PPO 1Hz 30-step Success Trajectories 96px configs: - config_name: default data_files: - split: train path: data/train/*.jsonl.gz - split: test path: data/test/*.jsonl.gz --- # pusht_96_int1_visual_v2 96px PushT PPO successful trajectory dataset. The trajectories are generated by a 1Hz PPO PushT solver with action codec `int1`, rendered images in `history[*].image`, `image_prev`, and `image_next` at `96x96` and JPEG quality `90`. Each episode is success-only and capped at `30` environment steps. Visual marker mode: `next_action_target`. In each move transition, the red cross in the rendered frame marks that transition's commanded move target. The pusher is rendered with radius `11.0` in 512-space; physics still uses the environment's collision radius. History image convention: `history[*].image_prev == history[*].image`; `history[i].image_next == history[i+1].image` for non-terminal steps; the terminal step keeps its terminal frame. Terminal marker convention: on the terminal `stop` step, and on the preceding `image_next`, the red cross is drawn on top of the final blue pusher position. ## Splits | split | records | format | | --- | ---: | --- | | train | 500,000 | gzip-compressed JSONL | | test | 200 | gzip-compressed JSONL | Train/test initial states are filtered to be disjoint by `init_state_hash`; see `metadata/`. Coordinates in `move` actions use PushT 512x512 physical coordinates rounded to exactly one decimal place. Rendered images are `96px`. Target Hub repo: `https://huggingface.co/datasets/novastar112/pusht_96_int1_visual_v2`

This dataset, named pusht_96_int1_visual_v2, is a visual trajectory dataset for robotic reinforcement learning, specifically in the PushT environment. It contains successful trajectories generated by a 1Hz PPO (Proximal Policy Optimization) PushT solver with action codec int1. The trajectories include rendered images (stored in history[*].image, image_prev, and image_next) at 96x96 resolution with JPEG quality 90. Each episode is success-only and capped at 30 environment steps. The visual marker mode is next_action_target, where in each move transition, a red cross in the rendered frame marks the commanded move target. The pusher is rendered with a radius of 11.0 in 512-space, while physics uses the environments collision radius. The history image convention ensures that history[*].image_prev equals history[*].image, and for non-terminal steps, history[i].image_next equals history[i+1].image. The terminal marker convention draws a red cross on the final blue pusher position in the terminal stop step and the preceding image_next. Splits consist of 500,000 training records and 200 test records in gzip-compressed JSONL format, with train and test initial states filtered to be disjoint via init_state_hash. Coordinates in move actions use PushT 512x512 physical coordinates rounded to one decimal place.

提供机构:
novastar112
搜集汇总
数据集介绍
novastar112/pusht_96_int1_visual_v2 数据集图片
构建方式
在机器人视觉—语言策略学习的数据构建脉络中,该数据集围绕PushT任务构建成功轨迹语料。其轨迹由1 Hz的PPO PushT求解器生成,动作编码采用int1,每个回合限定为成功样本并截断于30个环境步。渲染图像分别置于history[*].image、image_prev与image_next字段,分辨率为96×96,JPEG质量设为90。视觉标记模式为next_action_target,移动转换中的红叉标示该转换的命令目标;推杆在512空间以半径11.0渲染,而物理碰撞仍沿用环境半径。数据集包含500000条训练记录与200条测试记录,均以gzip压缩JSONL存储,训练与测试初始状态依据init_state_hash过滤为互不相交。
特点
面向视觉—语言强化学习与机器人操作研究,该数据集以成功轨迹、短时程与低分辨率视觉观测为核心特征。所有回合均为成功样本,最长30步,并由1 Hz PPO求解器产生,动作空间经int1编码压缩。图像序列具有明确历史约定:history[*].image_prev等同于history[*].image,非终止步的image_next衔接下一历史帧,终止步保留终止帧。视觉标注采用next_action_target模式,移动转换的红叉表示命令目标,终止stop步及其前一image_next的红叉覆盖最终蓝色推杆位置。移动动作坐标使用PushT 512×512物理坐标并精确到一位小数。训练集与测试集初始状态不重叠,可支持泛化评估。
使用方法
使用该数据集时,可经由Hugging Face datasets加载默认配置,读取data/train与data/test目录下的gzip压缩JSONL文件。解析后的回合记录包含history中的图像、动作与终止信息,模型可据此开展PPO等强化学习训练、轨迹建模与视觉—语言策略研究。处理图像时需遵循历史约定:image_prev与image一致,image_next在非终止步对应下一帧图像,终止步保持终止帧。动作坐标位于PushT 512×512物理坐标系,并已四舍五入至一位小数;红叉标记在移动步表示命令目标,在终止stop步及其前一image_next上表示最终推杆位置。评估可利用测试集初始状态与训练集不重叠的特性。
背景与挑战
背景概述
在机器人操作与视觉强化学习交汇处,PushT基准长期用于检验智能体能否依据像素观测把T形块推移至目标构型。pusht_96_int1_visual_v2由Hugging Face用户novastar112发布,README未载明具体创建时间与所属研究机构。其核心问题是以1Hz PPO求解器生成成功轨迹,并借助int1动作编解码,将512x512物理坐标中的命令目标以红叉标记嵌入96x96 JPEG帧,为视觉策略学习、离线强化学习及视觉语言建模提供紧凑一致的经验样本。该数据集含50万训练记录与200测试记录,强调初始状态隔离与可复现性,对PushT视觉控制研究具有基础资源价值。
当前挑战
从视觉操纵学习与数据工程双重维度审视,该数据集需解决低分辨率观测下接触丰富推块任务的策略学习难题。智能体须在30步成功窗口内理解红叉目标、末端执行器位置与终止信号,并克服离散动作、像素歧义及物理坐标一致性带来的困难。构建层面的挑战包括:PPO 1Hz求解器仅保留成功轨迹,采样成本高;int1编解码将连续位移离散化,可能损失精度;96px JPEG质量90渲染须维护历史帧、前一帧、后一帧及终止红叉标记;坐标舍入至一位小数,训练测试按init_state_hash不相交划分,且50万条JSONL.gz记录带来存储与校验负担。
常用场景
经典使用场景
在机器人视觉-运动控制与离线强化学习交叉领域,PushT推块任务长期充当检验时序决策与空间推理的基准。pusht_96_int1_visual_v2以96像素JPEG图像、int1动作编码与至多30步成功轨迹构成视觉序列样本,经典使用集中于行为克隆、离线策略优化、动作条件视频预测与视觉世界模型训练。得益于next_action_target标记,模型可学习从当前帧及历史帧推断下一步移动目标,并在终止帧对齐停止决策,从而在低维渲染输入下完成推块策略的监督或自监督学习。
实际应用
在机器人推操作、视觉伺服与智能体策略预训练场景中,该数据集可充当低成本仿真经验库。开发者可利用图像-动作对训练端到端策略,使机械臂或虚拟推杆依据96px视觉输入预测移动目标;也可用于离线强化学习预热、世界模型想象推演、失败检测与终止策略学习。由于坐标保留512x512物理尺度并附red cross目标标记,模型输出易于映射回环境动作空间,支持从仿真预训练向真实推块任务的迁移探索与安全策略验证。
衍生相关工作
围绕PushT、PPO与VisGym所构成的视觉决策生态,该数据集支撑了行为克隆、扩散策略类生成式动作建模、决策Transformer式轨迹序列建模、隐式Q学习等离线价值方法,以及历史帧条件视觉世界模型与动作条件预测研究。其成功轨迹、int1动作编码和next_action_target标记为动作分块、长时程规划、终止检测与跨初始状态泛化评测提供可复用基线,推动低分辨率视觉运动控制从单纯策略拟合走向可解释时序建模与可复现比较。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务