jogarulfop/wrong_rollout_eval_act_2026-05-29_shakeitup_dragonfly_checkpoint_20_000

该数据集使用LeRobot创建，是一个机器人领域的数据集，包含机器人动作和观测数据。动作数据包括6个关节位置（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）。观测数据包括相同的6个关节位置状态，以及来自顶部和腕部摄像头的视频图像（分辨率480x640，3通道，30fps），左触觉频谱图图像（分辨率224x224，3通道）。此外，还包含时间戳、帧索引、回合索引、任务索引等元数据。数据集总共有19个回合，15778帧，数据文件大小为100MB，视频文件大小为200MB，适用于机器人控制与感知研究。license: apache-2.0 任务类别：机器人学 标签：LeRobot 配置： - 配置名称：default 数据文件：data/*/*.parquet --- 本数据集基于[LeRobot（LeRobot）](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=jogarulfop/rollout_eval_act_2026-05-29_shakeitup_dragonfly_checkpoint_20_000"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集描述 - **主页：** [需补充更多信息] - **论文：** [需补充更多信息] - **许可证：** apache-2.0 ## 数据集结构 `meta/info.json`: json { "代码库版本": "v3.0", "帧率": 30, "特征": { "动作": { "数据类型": "float32", "名称": [ "肩pan关节位置", "肩升降关节位置", "肘关节屈曲位置", "腕关节屈曲位置", "腕关节旋转位置", "夹爪位置" ], "形状": [ 6 ] }, "观测.状态": { "数据类型": "float32", "名称": [ "肩pan关节位置", "肩升降关节位置", "肘关节屈曲位置", "腕关节屈曲位置", "腕关节旋转位置", "夹爪位置" ], "形状": [ 6 ] }, "观测.图像.顶部摄像头": { "数据类型": "视频", "形状": [ 480, 640, 3 ], "名称": [ "高度", "宽度", "通道数" ], "信息": { "视频.高度": 480, "视频.宽度": 640, "视频.编码格式": "av1", "视频.像素格式": "yuv420p", "视频.非深度图": false, "视频.帧率": 30, "视频.通道数": 3, "视频.无音频": false, "视频.g": 2, "视频.crf": 30, "视频.preset": 12, "视频.快速解码": 0, "视频.后端": "pyav", "视频.额外选项": {} } }, "观测.图像.腕部摄像头": { "数据类型": "视频", "形状": [ 480, 640, 3 ], "名称": [ "高度", "宽度", "通道数" ], "信息": { "视频.高度": 480, "视频.宽度": 640, "视频.编码格式": "av1", "视频.像素格式": "yuv420p", "视频.非深度图": false, "视频.帧率": 30, "视频.通道数": 3, "视频.无音频": false, "视频.g": 2, "视频.crf": 30, "视频.preset": 12, "视频.快速解码": 0, "视频.后端": "pyav", "视频.额外选项": {} } }, "观测.图像.左侧触觉频谱图": { "数据类型": "视频", "形状": [ 224, 224, 3 ], "名称": [ "高度", "宽度", "通道数" ], "信息": { "视频.高度": 224, "视频.宽度": 224, "视频.编码格式": "av1", "视频.像素格式": "yuv420p", "视频.非深度图": false, "视频.帧率": 30, "视频.通道数": 3, "视频.无音频": false, "视频.g": 2, "视频.crf": 30, "视频.preset": 12, "视频.快速解码": 0, "视频.后端": "pyav", "视频.额外选项": {} } }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "名称": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "名称": null }, "回合索引": { "数据类型": "int64", "形状": [ 1 ], "名称": null }, "索引": { "数据类型": "int64", "形状": [ 1 ], "名称": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "名称": null } }, "总回合数": 19, "总帧数": 15778, "总任务数": 1, "分块大小": 1000, "数据文件大小（MB）": 100, "视频文件大小（MB）": 200, "数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "机器人类型": "so101_follower_dragontactile", "划分": { "训练集": "0:19" } } ## 引用 **BibTeX格式：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在评估机器人模仿学习策略在动态任务中的表现。数据采集自SO101 DragonTactile机器人平台，通过执行预训练的ACT模型（检查点第20,000步）在“ShakeItUp”任务中完成19个episode的滚动评估。数据以30帧/秒的频率记录，包含来自顶部摄像头、腕部摄像头及触觉频谱图的视觉观测，以及6维关节状态和对应动作指令。所有原始数据以Parquet格式存储于chunk分片中，视频则以AV1编码的MP4文件保存，最终形成总计15,778帧的评估集。

特点

数据集融合了多模态传感信息与精细动作序列，具有高度结构化特征。视觉观测包含480×640分辨率的顶视与腕视图像，以及224×224的触觉频谱图，为机器人提供环境与接触状态的丰富线索。动作空间覆盖6个自由度（肩、肘、腕及夹爪），与观测状态维度对齐，便于直接映射策略输出。训练/验证分割采用全量episode作为训练集，共计19个完整轨迹，专为模仿学习中的行为克隆与策略泛化评估设计。

使用方法

数据集兼容LeRobot生态，可通过HuggingFace Datasets库直接加载。用户需指定配置名为'default'，数据路径指向Parquet分片与视频目录。典型使用流程包括：利用`lerobot.Dataset`类读取episode索引，提取每个时间步的观测图像与状态，并配对对应的动作序列以训练策略网络。亦可通过LeRobot的可视化工具（如HuggingFace Spaces）预览轨迹回放，验证模型输出与实际动作的一致性。建议结合ACT、Diffusion Policy等框架进行端到端训练与评估。

背景与挑战

背景概述

在机器人学习领域，模仿学习与行为克隆方法依赖于大量高质量的任务演示数据，以驱动机械臂精准执行复杂操作。该数据集由研究团队基于LeRobot框架创建于2026年5月29日，围绕名为“ShakeItUp”的特定任务，针对搭载触觉传感模块的SO101_Follower_DragonTactile机器人平台，在检查点20,000处采集评估轨迹数据。核心研究问题聚焦于验证基于动作分块变换器（ACT）的模型在完成动态物体交互（如摇晃与放置）时的鲁棒性与泛化能力。作为机器人操作数据集家族的一员，其设计的32维动作空间（涵盖六自由度关节位置与夹爪控制）及多模态观测信息（含顶部、腕部摄像头图像与左侧触觉频谱图），为构建端到端的视觉-触觉融合策略提供了标准化测试基准，对推动触觉感知在精细操作任务中的实际部署具有潜在影响。

当前挑战

该数据集所应对的领域挑战在于，传统机器人操作数据集往往缺乏触觉模态支持，难以应对需要力控与接触状态感知的复杂任务，如易碎物品抓取或动态操作。此外，构建过程中面临诸多技术困难：1) 多模态数据的时空同步问题，需确保30帧每秒的视觉信号与触觉频谱图在时间轴上的精确对齐，以避免策略学习中的模态错位；2) 数据集仅含19个片段、15,778帧且为单一任务，小样本特性显著增加了模型在真实场景中克服分布外状态与泛化至不同初始条件的难度；3) 采用AV1压缩编码的视频流在保证高分辨率（640×480）与流畅度的同时，必须平衡存储效率与解压缩延迟，对端到端实时推理构成隐性约束。

常用场景

经典使用场景

在机器人学习与模仿学习领域，该数据集以其精细的动作空间与多模态感知信息，成为训练机器人从示范中习得复杂操作策略的经典基准。数据集覆盖了机械臂六个自由度（肩部、肘部、腕部及夹爪）的连续动作轨迹，并同时提供顶部与腕部的高清视觉图像、触觉频谱图等传感器数据，使得研究者能够利用行为克隆(BC)或基于Transformer的动作分块(ACT)等算法，在密集的30Hz采样频率下对力控与视觉反馈进行联合建模。其特有的‘dragonfly’任务设计，尤其适合验证模型在长程操作任务中对于时序依赖与空间位姿的推理能力。

解决学术问题

该数据集针对机器人操作中的一个核心难题——如何在高维连续动作空间中从少量专家演示中高效学习泛化性策略——提供了理想的研究平台。通过提供标准化的多模态传感器数据（视觉、触觉、关节状态）与精确的机器人本体位姿，它使得研究者能够深入探究模仿学习中隐式与显式行为表征的差异、观测噪声影响下的鲁棒性，以及多视角信息融合对操作成功率的增益。该数据集的公开，推动了端到端模型在真实机器人环境中的验证，并为后续跨具身形态的策略迁移研究奠定了开创性的数据基础。

衍生相关工作

该数据集衍生出了一系列围绕高效模仿学习和多模态融合的经典研究工作。其中，基于ACT( Action Chunking with Transformers )架构的改进模型，利用该数据集的时序动作块设计，成功在低延迟下实现了亚毫米级精度的轨迹追踪，为实时机器人操作提供了新范式。此外，针对数据集中的触觉频谱图与视觉图像，有学者提出了跨模态对比学习方法，显著提升了策略对缺失传感器模态的鲁棒性。另一条主线则关注数据效率，利用扩散模型对数据集中有限的专家轨迹进行生成式扩充，证明了在只包含19个Episode的小样本条件下同样学出高质量策略的可能性，极大推动了少样本模仿学习的学术前沿进展。