lerobot/pusht

该数据集包含多个特征，如观察图像、观察状态、动作、剧集索引、帧索引、时间戳、下一个奖励、下一个完成状态、下一个成功状态和索引。数据集分为训练集，包含25,650个样本，总大小为2,545,764字节，下载大小为740,207字节。

原始信息汇总

数据集概述

数据集特征

• observation.image: 视频帧
• observation.state: 序列类型，长度为2，数据类型为float32
• action: 序列类型，长度为2，数据类型为float32
• episode_index: 数据类型为int64
• frame_index: 数据类型为int64
• timestamp: 数据类型为float32
• next.reward: 数据类型为float32
• next.done: 数据类型为bool
• next.success: 数据类型为bool
• index: 数据类型为int64

数据集划分

• train:
  • 数据量: 2545764字节
  • 示例数量: 25650

数据集大小

• 下载大小: 736434字节
• 数据集大小: 2545764字节

配置

• config_name: default
  • data_files:
    • split: train
      • path: data/train-*

搜集汇总

数据集介绍

构建方式

在机器人学领域，高质量的数据集对于推动视觉运动策略学习至关重要。lerobot/pusht数据集依托LeRobot平台构建，通过实际机器人交互采集了206个完整回合，总计25650帧数据。数据以Parquet格式存储，每个回合包含图像观测、机器人状态、动作指令及后续奖励等多元信息，并以10帧每秒的速率同步记录视频，确保了时序数据的一致性与完整性。

使用方法

研究者可利用该数据集进行视觉运动策略的建模与验证。通过加载Parquet文件，可便捷访问图像观测、状态向量及动作标签，进而训练如扩散策略等先进算法。数据已预设训练集划分，支持从原始像素到控制指令的映射学习，并可结合附带的视频数据直观分析机器人行为。引用相关论文后，该数据集可直接集成于现代机器人学习框架中，加速算法迭代与实验复现。

背景与挑战

背景概述

在机器人学领域，视觉运动策略学习旨在使机器人能够通过视觉感知自主执行复杂操作任务。lerobot/pusht数据集由哥伦比亚大学等机构的研究团队于2024年创建，其核心研究问题聚焦于推动基于扩散模型的策略学习方法在机器人控制中的应用。该数据集作为Diffusion Policy研究的关键支撑，通过提供真实机器人交互数据，促进了从感知到动作的端到端策略学习，对提升机器人在非结构化环境中的适应性与泛化能力具有显著影响力。

当前挑战

该数据集致力于解决机器人视觉运动策略学习中的挑战，即如何从高维视觉观察中稳定生成连续、精确的动作序列，以完成如物体推动等精细操作任务。构建过程中的挑战包括：在真实物理系统中采集大规模、高质量的机器人交互数据时，需克服传感器噪声、环境动态变化以及数据同步精度等问题；同时，确保数据集的多样性与代表性，以支持策略模型在未见场景中的有效泛化，亦是一项复杂工程。

常用场景

经典使用场景

在机器人视觉运动控制领域，lerobot/pusht数据集为研究视觉引导下的机械臂操作任务提供了关键支持。该数据集通过记录机械臂在推动任务中的图像观测、状态信息及动作序列，构建了丰富的离线交互轨迹。研究者可基于这些轨迹训练端到端的视觉运动策略模型，探索从高维视觉输入到低维动作输出的映射关系，为机器人模仿学习与强化学习算法的验证与优化奠定数据基础。

解决学术问题

该数据集有效应对了机器人学中视觉运动策略学习的若干核心挑战。它通过提供真实机械臂的交互数据，缓解了仿真与现实之间的鸿沟问题，使研究者能够在离线设置下验证扩散策略等先进算法。数据集的结构化设计支持对状态-动作序列的时序建模，有助于探究策略的泛化能力与样本效率，推动了视觉运动控制领域从仿真验证向真实世界应用的过渡。

实际应用

在实际机器人系统中，lerobot/pusht数据集可直接用于训练机械臂执行精确的推动操作任务。这类能力在工业分拣、物流搬运及家庭服务机器人场景中具有广泛需求。基于数据集训练的模型能够使机器人仅依靠视觉输入自适应地规划动作，提升在非结构化环境中的操作鲁棒性，为自动化生产线或灵活物料处理系统提供技术储备。

数据集最近研究

最新研究方向

在机器人视觉运动控制领域，lerobot/pusht数据集作为Diffusion Policy方法的核心验证资源，正推动着基于扩散模型的策略学习前沿探索。该数据集以高维图像观测与低维状态动作对为特征，为研究视觉引导的连续控制任务提供了丰富样本。当前研究热点聚焦于如何利用扩散模型生成平滑且精确的动作序列，以应对复杂环境中的动态交互挑战。这一方向不仅提升了机器人执行推送等精细操作的能力，更促进了模仿学习与强化学习的融合，为具身智能的发展奠定了数据基础。其影响延伸至工业自动化与家庭服务机器人等实际应用场景，标志着数据驱动策略学习向更高效、更鲁棒的方向演进。