jogarulfop/rollout_eval_act_2026-05-29_shakeitup_dragonfly_checkpoint_20_000_20260529_140446

该数据集是使用LeRobot创建的机器人数据集，专注于机器人控制任务。数据集包含13个episodes，总帧数为9551，帧率为30fps。数据特征包括动作（6个关节位置：肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕滚动和夹爪位置）、状态观测（与动作相同的6个关节位置）、图像观测（顶部和手腕摄像头的视频，分辨率为480x640，3通道）以及左触觉频谱图（分辨率为224x224，3通道）。此外，还包含时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集使用Apache 2.0许可证，机器人类型为so101_follower_dragontactile，数据文件格式为Parquet，视频文件格式为MP4。This dataset was created using LeRobot and focuses on robotics control tasks. It contains 13 episodes with a total of 9551 frames at a frame rate of 30fps. The features include actions (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), state observations (same 6 joint positions as actions), image observations (videos from top and wrist cameras with resolution 480x640, 3 channels), and left tactile spectrogram (resolution 224x224, 3 channels). Additionally, metadata such as timestamp, frame index, episode index, index, and task index are included. The dataset is licensed under Apache 2.0, with robot type so101_follower_dragontactile, data files in Parquet format, and video files in MP4 format.

搜集汇总

数据集介绍

构建方式

该数据集是基于LeRobot框架构建的机器人操作技能数据集，旨在评估动作分块变换器（ACT）模型的泛化性能。数据采集于2026年5月29日，使用名为“ShakeItUp”的摇动任务，搭载了配备触觉传感器的so101_follower_dragontactile机器人平台。数据集共包含13个完整的情节，总计9551帧图像，数据通过30帧每秒的速率记录，并以parquet格式存储结构化数据，同时将视觉观测编为AV1格式的视频，体积约为200兆字节，实现了高效的空间利用与数据完整性。

特点

数据集最显著的特点是多模态感知信息的深度融合，涵盖了机器人6维关节状态（位置）、来自顶部及腕部的高清RGB摄像头（480×640分辨率）图像，以及独特的左侧触觉频谱图（224×224分辨率），为策略学习提供了丰富的环境上下文。此外，每个样本均包含精确的时间戳、帧索引和情节编号，便于时间序列分析。数据集的单一任务（“ShakeItUp”）聚焦于特定操作场景，使得模型在该任务上的推理与执行能力可被精准评估。

使用方法

研究者可利用Hugging Face提供的可视化交互界面直观浏览数据集样本，从而快速把握数据分布。在代码层面，推荐通过LeRobot库加载数据，其API能够自动解析parquet文件与视频目录结构，并将特征对齐为统一的张量格式。使用者可以设定批处理参数，直接将状态、图像和触觉模态输入至ACT策略网络进行微调或评估。此外，通过在数据集中遍历episode_index字段，用户可轻松拆分训练与测试子集，以系统性地度量模型在摇动任务上的成功率与动作精度。

背景与挑战

背景概述

该数据集由LeRobot框架生成，由jogarulfop团队创建于2026年5月29日，旨在评估一种名为ACT（Action Chunking with Transformers）的机器人模仿学习策略在‘shakeitup’任务上的表现。数据集基于SO-101型机器人平台和DragonTactile触觉传感系统，融合了六维关节状态、顶部与腕部摄像头视觉流以及触觉谱图等多模态信息，以30帧/秒的高频采样记录13个 episod e共9551帧数据。作为机器人学习领域对精细操作任务评估的尝试，该数据集为验证ACT模型在复杂接触任务中的泛化能力提供了标准化基准，其开源许可及与LeRobot生态的兼容性有望推动机器人learning领域的可重复性研究。

当前挑战

数据集所聚焦的核心挑战在于高精度、高动态的机器人灵巧操作任务。‘shakeitup’任务要求机器人同时协调6个自由度关节并利用触觉反馈，在非结构化环境中完成诸如摇晃或混合等精细动作，这对模仿学习算法的泛化性、实时性及多模态融合能力提出了严峻考验。构建过程中，研究者面临触觉谱图数据（224×224）与视觉流（480×640）的时空同步难题，且AV1编码的视频在保持高保真度的同时需控制存储成本（视频文件约200MB）。此外，仅13个episod e的小样本规模对模型的少样本学习能力构成挑战，而任务索引单一化也限制了算法在多样化场景下的鲁棒性验证。

常用场景

经典使用场景

在机器人学习领域，rollout_eval_act_2026-05-29_shakeitup_dragonfly_checkpoint_20_000_20260529_140446 数据集凭借其高保真的多模态感知数据，成为行为克隆与模仿学习研究的经典资源。该数据集采集自配备触觉传感器的仿人机械臂，包含6自由度关节角度状态、顶置与腕部高清视觉图像以及触觉频谱图，以30Hz频率同步记录。研究者可将其用于训练基于Transformer或CNN的视觉运动策略，通过端到端学习将像素和力觉信息直接映射为关节动作指令，尤其适用于研究精细操作任务中触觉反馈对策略鲁棒性的增益效果。

解决学术问题

该数据集的核心学术价值在于为触觉与视觉融合的机器人技能学习提供了标准化基准。它解决了多模态感知对齐这一关键难题——如何在不同采样频率和高维异构特征（如图像、触觉信号、运动学状态）之间建立有效的时空关联表征。此外，针对触觉传感器数据在强化学习环境中难以模拟的问题，该数据集为研究触觉引导下的灵巧操作泛化性提供了真实轨迹样本，推动了具有力觉感知能力的机器人自主学习闭环的构建。

衍生相关工作

该数据集衍生了一系列关于触觉感知增强的模仿学习前沿工作。研究者基于其提供的左触觉频谱图与视觉数据，提出了跨模态特征对齐网络（如TactileFormer），或利用扩散策略在触觉约束下生成平滑动作序列。其中，经典的ACT（Action Chunking with Transformers）算法在此数据上展现了触觉反馈对长时域任务成功率的提升效果。此外，部分工作进一步将触觉图像编码为潜在力场表示，用于少样本情景下的操作技能泛化，推动了模拟到现实迁移研究的发展。