reece-omahoney/pi05-libero-plus-smoke

该数据集是一个机器人技术相关的数据集，由LeRobot创建。数据集包含8个任务和1135帧数据，具有多种特征，包括观察图像（分辨率为256x256，帧率10fps）、状态、动作等。数据以parquet格式存储，视频以mp4格式存储。

This dataset is related to robotics technology and was created by LeRobot. It contains 8 tasks and 1135 frames of data, with various features including observation images (resolution 256x256, frame rate 10fps), state, actions, etc. The data is stored in parquet format and videos in mp4 format.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集的构建质量直接影响策略泛化能力。pi05-libero-plus-smoke数据集基于LeRobot框架构建，通过物理仿真环境采集机器人操作数据。整个数据集包含8个完整任务片段（episodes），总计1135帧有效数据。数据存储采用Parquet与视频文件分离的架构，其中动作指令和状态观测以FP32浮点数格式保存，视觉观测则以AV1编码的视频形式存储。数据采集频率为10帧每秒，确保时间分辨率与机器人控制周期的匹配，所有样本均已被系统化地划分为训练集。

特点

该数据集最显著的特征在于其多模态融合的观测结构。每个时间步包含两个256x256像素的RGB图像观测（image与image2），分别对应于不同视角的视觉输入，为机器人提供丰富的场景理解能力。机器人状态向量为8维浮点数据，动作空间则为7维连续控制信号，完整刻画了操作臂的关节运动或末端位姿。数据集中额外标注了帧索引、任务索引与二进制成功标志，便于进行时序分析与任务完成评估。

使用方法

使用者可通过HuggingFace Spaces集成的可视化工具直接浏览数据集样本，无需本地下载。对于深度强化学习或模仿学习研究，推荐使用LeRobot库加载数据，其内置的数据加载器支持将视频流自动解码为张量，并与状态、动作序列对齐。训练时可直接使用默认的train分割，该数据集已包含完整的轨迹索引，用户只需指定批次大小与采样策略即可开始模型训练。数据以Chunk形式分片存储，每1000帧为一个数据块，便于分布式处理与增量加载。

背景与挑战

背景概述

随着机器人学习领域对多模态感知与精细化操作需求的日益增长，数据集的构建成为推动模仿学习和强化学习发展的关键基石。在此背景下，pi05-libero-plus-smoke数据集由研究者reece-omahoney于近年来创建，依托LeRobot平台，旨在为机器人操作任务提供标准化的行为克隆训练资源。该数据集围绕8个具体操作任务展开，累计包含1135帧高保真视觉与状态动作序列，通过双视角256×256像素图像与8维状态向量记录场景动态，并配以7维动作标签，以20Hz的采集频率实现了机器人运动轨迹的精细捕捉。pi05-libero-plus-smoke的发布为机器人领域的行为克隆、多任务泛化研究提供了标准化基准，尤其在高保真视觉-运动映射关系的建模上具有显著影响力，推动了机器人从仿真向真实场景的迁移能力提升。

当前挑战

该数据集的核心挑战在于解决领域任务中的多模态数据融合与有限样本泛化问题。在设计层面，机器人操作任务要求模型从高维视觉观测（256×256双视角图像）与低维状态向量中联合提取特征，并映射至连续动作空间，这一过程对实时性与准确性形成双重考验。同时，数据集仅包含8个任务和1135帧样本，样本量限制使得模型在面对未见过场景或任务变体时，极易暴露过拟合与泛化能力不足的短板。在构建过程中，数据采集面临轨迹一致性维持的难题——同一操作在不同试次中因机械臂初始姿态、光照条件等微小差异可能导致动作分布的显著偏移，需借助LeRobot的标准化管道进行精细校准。此外，视频流以AV1编解码存储，虽平衡了质量与存储，但解码实时性对后续模型训练架构提出了额外硬件适配挑战。

常用场景

经典使用场景

在机器人学习与自主操作领域，pi05-libero-plus-smoke数据集为模仿学习与行为克隆算法提供了珍贵的训练素材。该数据集包含8个完整操作回合，共计1135帧视觉-状态-动作序列，通过双视角视觉观测（256×256分辨率）、8维机器人状态信息及7维动作指令的同步记录，构建了从感知到执行的闭环数据管道。其核心价值在于支持机器人从人类示教中习得精细操纵技能，尤其是在烟雾弥漫等复杂环境下的鲁棒操作策略学习。

衍生相关工作

该数据集衍生了一系列具有里程碑意义的研究工作，包括基于扩散策略的操作技能学习方法，通过噪声化动作空间与逐步去噪生成连续运动轨迹，显著提升了复杂任务的成功率。同时，多任务模仿学习框架也被应用于此数据集，利用其多回合异构数据训练单一策略网络完成多类操作。此外，基于视觉语言模型的零样本泛化研究也开始引用该数据集，探索语言指令直接映射为机器人动作的可行性，为机器人通用智能的构建奠定了数据基石。

数据集最近研究

最新研究方向

面向机器人操作技能迁移与泛化的多模态示教学习数据集构建。pi05-libero-plus-smoke作为基于LeRobot框架生成的小规模机器人操作数据集，聚焦于精细操作任务中的状态-动作空间映射，其双视角视觉输入（256×256分辨率）与低维状态向量的结合，为模仿学习与强化学习算法提供了具有挑战性的基准。当前前沿研究正致力于利用此类小样本数据集探索条件扩散策略与基于Transformer的行为克隆方法，以解决机器人长程任务中的因果混淆与组合泛化问题。该数据集在机器人学习社区中推动了从静态数据收集向在线自适应策略优化的范式转变，其开源特性与标准化格式亦为跨机构算法复现与性能对标奠定了坚实基础。