kian2020/rollout_pp_act_policy_20260526_132810

该数据集由LeRobot创建，专注于机器人领域，具体为so_follower机器人类型。数据集包含一个总时长为7696帧的单个训练任务，帧率为30fps。数据结构丰富，包括动作特征（如肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕滚动和夹爪位置）、观察状态（与动作相同的关节位置信息）、观察图像（来自前部和顶部的视频，分辨率为480x640，3通道，编码为av1，无音频），以及时间戳、帧索引、episode索引、索引和任务索引等元数据。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，适用于机器人控制和视觉任务的研究和开发。This dataset was created using LeRobot and focuses on the robotics domain, specifically for the so_follower robot type. It contains a single training task with a total of 7696 frames at a frame rate of 30fps. The dataset structure includes action features (such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (joint positions identical to actions), observation images (videos from front and top views with a resolution of 480x640, 3 channels, encoded in av1, without audio), and metadata like timestamp, frame index, episode index, index, and task index. Data is stored in parquet format, with a total data file size of 100MB and video file size of 200MB, suitable for research and development in robot control and vision tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，以机器人操作策略的轨迹回放为核心组织形式。数据采集过程中，操作者通过遥操作或策略驱动方式控制so_follower型机械臂完成单一任务，系统同步记录六自由度关节位置构成的动作序列与状态序列，并以30帧每秒的采样率采集前视与顶视两路视频流。所有帧数据经时间戳对齐后，按分块索引规则写入Parquet格式文件，视频以AV1编码存储，最终形成包含7696帧、1个回合的规范化数据集。

特点

数据集面向机器人操作策略学习领域，具备多模态同步观测特性。除动作与本体状态两组六维浮点向量外，同时提供前视和顶视双视角视频流，可支撑视觉-动作联合建模。数据以LeRobot v3.0规范组织，字段命名统一、维度明确，兼容模仿学习与策略评估流水线。单一任务与单一回合的设定虽规模有限，却保证了轨迹的完整性与时间连续性，适合用于策略回放的验证与可视化分析。

使用方法

使用该数据集时，可借助LeRobot内置工具加载Parquet数据文件与MP4视频流，按episode_index与frame_index还原完整时序轨迹。研究者可通过HuggingFace Spaces上的可视化入口直接浏览视频与状态曲线，亦可基于action与observation.state字段训练或微调策略模型。若需本地处理，可依照data_path与video_path模板读取分块文件，并结合timestamp字段完成多模态对齐，进而开展策略回放评估。

背景与挑战

背景概述

随着机器人学习与具身智能的迅猛发展，高质量、标准化的真实机器人操作数据成为推动策略学习与泛化能力提升的关键基石。rollout_pp_act_policy_20260526_132810数据集由LeRobot框架构建，遵循Apache-2.0开源协议，采用统一的v3.0数据规范，记录了单任务下六自由度机械臂的完整操作轨迹，涵盖关节位置、夹爪状态及前视与俯视双路视频流，共7696帧、30帧每秒，为模仿学习与动作策略评估提供了细粒度的多模态时序数据，体现了社区对可复现、可共享机器人数据集的持续追求。

当前挑战

该数据集所面向的机器人操作策略学习领域，核心挑战在于如何从有限示教中习得兼具鲁棒性与泛化性的控制策略，以应对真实环境中物体位姿变化、视觉干扰与接触动力学不确定性。就构建过程而言，单条长时序轨迹虽保证了任务执行的连贯性，却带来数据多样性不足与过拟合风险；双路视频与六维状态动作的精确时间对齐、AV1编码下的视觉保真度，以及基于LeRobot标准化格式的跨平台兼容性，均对数据采集、同步与后处理提出了严苛要求。

常用场景

经典使用场景

在机器人模仿学习与策略评估领域，该数据集扮演着策略 rollout 记录载体的角色。其经典使用场景在于，研究者将训练完毕的 ACT（Action Chunking Transformer）策略部署至 SO-100 追随者机械臂上，令其在真实环境中执行特定操作任务，同时以 30 帧每秒的频率同步采集前视与俯视双路视觉观测、六维关节位置状态以及对应的动作指令。整个 rollout 过程被完整地序列化为单条长度达 7696 帧的回合数据，并按照 LeRobot v3.0 规范存储为 parquet 与 AV1 视频格式，从而为后续的策略性能复盘、失败模式诊断与数据回放提供高保真的时序记录。

衍生相关工作

以该数据集为代表的 LeRobot 风格 rollout 记录，已催生若干相关经典工作方向。其一为基于 ACT 的动作分块模仿学习，利用成对的观测与动作序列训练 Transformer 策略，在有限演示下实现精细操作；其二为视觉-语言-动作模型在真实机械臂上的评测，往往依赖此类 rollout 数据完成真机验证与消融实验；其三为策略评估与失败检测研究，通过分析 rollout 中的时序统计量构建异常判别器。这些工作共同推动了真实机器人数据标准化与策略可复现评测生态的成熟。

数据集最近研究

最新研究方向

在机器人学习领域，基于LeRobot框架构建的动作策略评估与部署数据日益成为研究热点。该数据集记录了一次完整的策略执行过程，涵盖6自由度机械臂的状态与动作序列、前视与顶视双视角视频流以及768×640分辨率下30fps的时序信息，为视觉-动作联合建模提供了高保真样本。当前前沿探索聚焦于利用此类真实rollout数据对动作策略（如ACT、Diffusion Policy）进行离线评估与在线微调，以弥合仿真到现实的差距。特别是在具身智能与端到端学习范式下，该数据有助于验证多模态策略在精细操作任务中的鲁棒性与泛化能力，对推动可复现机器人学习基准建设具有积极意义。