jogarulfop/rollout_eval_act_2026-05-29_shakeitup_dragonfly_checkpoint_20_000V2_20260529_141839

该数据集是使用LeRobot创建的机器人数据集，专注于机器人控制任务。数据集包含6个剧集，总计6227帧，帧率为30fps。数据特征包括动作向量（6维，表示肩部、肘部、腕部和夹爪的位置）、状态观测（与动作向量相同）、图像观测（来自顶部摄像头和腕部摄像头的480x640 RGB视频，以及左触觉频谱图的224x224视频）。此外，还包含时间戳、帧索引、剧集索引、索引和任务索引等元数据。数据集使用parquet格式存储数据，mp4格式存储视频，机器人类型为so101_follower_dragontactile，适用于机器人学习和控制研究。This dataset is a robotics dataset created using LeRobot, focusing on robot control tasks. It contains 6 episodes with a total of 6227 frames at 30 fps. The features include action vectors (6-dimensional, representing positions of shoulder, elbow, wrist, and gripper), state observations (same as action vectors), image observations (from a top camera and a wrist camera with 480x640 RGB videos, and a left tactile spectrogram with 224x224 videos). Additionally, it includes metadata such as timestamp, frame index, episode index, index, and task index. The dataset is stored in parquet format for data and mp4 format for videos, with a robot type of so101_follower_dragontactile, suitable for robotics learning and control research.

搜集汇总

数据集介绍

构建方式

该数据集由LeRobot框架自动生成，用于评估ACT（Action Chunking with Transformers）策略在机器人操作任务中的表现。数据采集基于SO101_Follower_DragonTactile机器人平台，在名为“ShakeItUp”的任务场景中执行rollout评估。系统以30帧每秒的频率同步记录机器人的六维关节动作（包括肩部、肘部、腕部及夹爪的位置控制）与对应的观测状态，同时通过顶部、腕部及左触觉频谱图三路摄像头捕获高分辨率视觉信息，形成多模态数据流。整个数据集包含6个episode、总计6227帧视频帧与相应的动作序列，所有原始数据以Parquet格式存储于chunk分块中，视频则采用AV1编码的MP4文件独立保存，保证了数据的高效组织与可扩展性。

使用方法

研究人员可通过LeRobot库便捷地加载与使用该数据集。借助lerobot.datasets模块，用户能够根据meta/info.json中定义的features字段直接读取动作（action）、状态（observation.state）及多视角图像（observation.images）等关键字段。数据集按训练集划分（train: 0:6），适合直接作为离线强化学习或行为克隆的评估基准。可视化数据集结构时，用户可访问Hugging Face Spaces上的交互式工具（visualize_dataset）进行逐帧浏览。由于数据以标准Parquet与视频文件分块存储，也支持自定义数据加载器进行分布式训练或精细调参，从而复现或改进ACT策略在复杂操作任务中的表现。

背景与挑战

背景概述

该数据集创建于2026年，由研究机构基于LeRobot框架生成，聚焦于机器人操作领域的模仿学习与行为克隆研究。核心研究问题在于评估ACT（Action Chunking with Transformers）算法在复杂操作任务中的泛化能力，特别是针对“ShakeItUp”任务的执行效果。数据集以“蜻蜓”机器人为平台，采用触觉与视觉多模态感知系统，记录了6个操作关节的执行轨迹与状态信息。作为机器人学习领域的重要评估资源，该数据集为验证深度强化学习与模仿学习算法的鲁棒性提供了标准化测试基准，推动了操作技能从仿真环境向真实机器人迁移的研究进程。

当前挑战

领域问题层面，该数据集旨在解决细粒度操作任务中的长程动作规划与多模态感知融合挑战，例如在动态交互场景中实现精准的抓取与摇动动作，并克服触觉反馈与视觉信息之间的异步对齐问题。构建过程中，研究者面临多视角视频（顶部、腕部、触觉光谱图）的高帧率采集与同步存储难题，同时需处理6自由度机械臂在30FPS采样率下的动作噪声与位姿漂移。此外，触觉光谱图从224×224原始信号到可训练特征的转换、以及AV1视频编码带来的实时解码开销，均为数据构建的关键技术障碍。

常用场景

经典使用场景

在机器人学习与模仿学习领域，该数据集作为一次策略评估回滚（rollout）的产物，核心用于验证基于行为克隆（BC）或动作分块变换器（ACT）等算法训练出的机器人控制策略的泛化能力。它完整记录了机械臂在‘ShakeItUp’任务中执行6个回合的交互数据，包含高帧率的多模态观测——顶部与腕部摄像头捕捉的视觉画面、左侧触觉传感器的频谱图，以及6维的关节动作指令。研究者可借此评估模型在复杂操控场景下的执行稳定性，尤其适用于分析触觉信息对精细操作任务的影响。

解决学术问题

该数据集为解决机器人模仿学习中‘策略泛化性评估’与‘多模态融合效果验证’两大核心问题提供了标准化测试基准。通过对比模型在训练环境与回滚环境中的动作误差、成功率及抗干扰能力，学者可量化视觉与触觉模态对策略的贡献程度。其意义在于推动具身智能研究中从单一视觉驱动向触觉-视觉协同控制范式的演进，为开发高鲁棒性的闭环节能调控算法奠定数据基础，尤其对软体机器人或易碎品抓取等触觉敏感场景具有理论价值。

实际应用

在实际工业与服务业场景中，该数据集模式可直接迁移至精密装配、医疗手术辅助及农产品分拣等需要触觉反馈的操作领域。例如，在电子元件微焊接任务里，模型借助触觉频谱图能感知材料的微小形变，从而调整夹持力避免损伤；在食品包装环节，六维动作与触觉图像的联合训练使机械臂能安全处理形状不规则的蔬果。此外，该数据集采用的LeRobot标准化格式便于快速部署到SO-101等商用机械臂平台，缩短从仿真验证到工厂落地的开发周期。

数据集最近研究

最新研究方向

该数据集聚焦于机器人模仿学习与触觉感知的交叉融合前沿，依托LeRobot框架，以多模态数据（包含视觉、状态、触觉频谱图）驱动机械臂复杂操作技能的学习。数据集采集自具身智能体在“ShakeItUp Dragonfly”任务中的实际rollout，结合了6维关节动作空间与高分辨率触觉反馈，代表了当前机器人领域从传统程序控制向数据驱动的端到端策略迁移的热点趋势。通过提供包含触觉频谱图的视觉-运动闭环样本，该数据集为研究细粒度操作、动态环境适应及多模态信息融合提供了关键实验基础，助力推动通用机器人技能习得范式的革新。