dbzfan2012/rollout_so101_cup_handover_dagger_5-29_2_20260529_123657

该数据集由LeRobot创建，用于机器人学研究。数据集包含机器人执行任务时的动作、观测状态（如关节位置）、前视摄像头图像（分辨率为480x640，30fps）、干预信号、时间戳、帧索引、episode索引、索引和任务索引等特征。总共有20个episodes，7358帧，1个任务。数据以parquet格式存储，视频以mp4格式存储，机器人类型为so_follower。数据集适用于机器人控制、模仿学习等任务。This dataset was created using LeRobot for robotics research. It includes features such as actions, observation states (e.g., joint positions), front-view camera images (resolution 480x640, 30fps), intervention signals, timestamps, frame indices, episode indices, indices, and task indices. There are a total of 20 episodes, 7358 frames, and 1 task. The data is stored in parquet format, videos are in mp4 format, and the robot type is so_follower. The dataset is suitable for tasks like robot control and imitation learning.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在收集机器人执行杯子递送任务时的演示数据。数据采集过程中，使用SO-100双臂机器人平台，通过远程操作的方式记录下机器人从抓取到递送杯子的完整动作序列。每个动作轨迹均以30帧每秒的采样频率进行捕捉，并将机器人关节状态（包括肩部、肘部、腕部及夹爪的位姿）与前置摄像头采集的640×480像素RGB视频帧同步存储，最终汇聚成20个演示片段，总计7358帧的标准化数据集。

特点

数据集的最大特色在于其多维度的结构化信息记录。除了包含6维连续动作空间和对应状态空间的高精度浮点型数据外，还创新性地引入了干预标志位（intervention），用以标记演示过程中人为介入调整的时刻，为模仿学习中的离线策略优化提供了关键监督信号。此外，数据集以30FPS的高频同步录制视频与状态量，并采用AV1编码压缩视频以平衡保真度与存储效率，整体呈现出低冗余、高信息密度的工程化数据特性。

使用方法

本数据集专为机器人技能学习中的模仿学习与行为克隆任务设计。用户可通过HuggingFace的LeRobot API直接加载，利用`dataset['train']`切分获取全部20个演示片段进行训练。每个片段的结构包含`observation.state`、`observation.images.front`、`action`及`intervention`等键，便于构建端到端的视觉-动作策略模型。数据以Parquet格式存储关节状态与元数据，视频以MP4格式独立存放，推荐采用PyAV后端进行高效解码以加速训练数据管线。

背景与挑战

背景概述

伴随着机器人学习领域的蓬勃发展，模仿学习已成为赋予机器人复杂操作技能的核心范式之一。该数据集由研究团队于2026年5月通过LeRobot框架采集，聚焦于机器人执行杯具递送与匕首交接的精细操作任务，核心研究问题在于如何让从动臂在动态交互中准确复现人类示范的轨迹与力控策略。其发布为模仿学习与少样本泛化研究提供了高保真的运动学与视觉观测数据，推动了机器人长时序操作任务的标准化评估进程。

当前挑战

于领域问题层面，该数据集着力解决机器人从视觉输入到动作映射的跨模态对齐难题，尤其在非结构化场景中，杯具与匕首的位姿变化要求模型具备对细微形变与接触力的鲁棒适应能力。然而构建过程面临显著挑战：一方面需协同采样频率与多视角视频同步，以捕捉30FPS下的精细运动细节；另一方面，从示范数据中提取的6维动作空间需兼顾关节限制与任务约束，确保采集的20个回合里每个帧的动作一致性，从而避免因示范偏差引发策略崩溃风险。

常用场景

经典使用场景

在机器人学习领域，rollout_so101_cup_handover_dagger_5-29_2_20260529_123657数据集专为模仿学习与行为克隆研究而设计。该数据集记录了SO-100机器人执行杯子递送任务的完整轨迹，涵盖20个回合共7358帧的高频观测数据，包括6维关节状态、前视摄像头图像以及对应的动作指令。借助30Hz的采样频率与AV1编码的高清视频，研究者能够精确捕捉机器人从抓取到移交的精细操作流程，是训练机器人依照人类示范复现协作行为的理想素材。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，包括基于Transformer的决策预训练模型、隐式运动规划与跨任务元学习框架。例如，研究者利用此数据验证了Diffusion Policy在欠驱动机械臂上的细粒度控制能力，或将其作为数据源训练视觉-语言-动作通用表征。借助LeRobot生态系统的可复现性，该数据集已成为评估模仿学习基线算法（如Beso、ACT）的标准任务，推动了机器人操作领域开源基准的构建。

数据集最近研究

最新研究方向

该数据集聚焦于机器人灵巧操作中的物体交接任务，具体以SO-101双臂协作平台抓取杯子并传递匕首的精细动作为核心场景，属于模仿学习与遥操作数据采集的前沿领域。在机器人学习热潮中，LeRobot框架催生了大量高质量示教数据，而此数据集以Handover Dagger这一具挑战性的交接动作为突破口，为研究人机协作中的自适应抓取、动态力反馈与策略泛化提供了宝贵资源。其30Hz的高频动作流与多模态状态记录，结合AV1视频编码的视觉数据，使得该数据集在边缘计算与低延迟控制场景中具备独特价值。当前，这一研究方向正推动机器人从固定程序向基于示范的柔顺操作演进，对医疗辅助、精密装配等需精细传递的场景具有显著影响力。