dbzfan2012/rollout_so101_cup_handover_dagger_5-29_20260529_103951

该数据集使用LeRobot创建，是一个机器人学数据集，专门用于机械臂的杯子交接任务。数据集包含4个总片段和1749个总帧，帧率为30fps。特征包括机械臂的6维动作（如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部滚动和夹爪位置）和对应的6维状态观测。此外，还提供前视角图像观测，分辨率为480x640，3通道，视频编码为av1。数据集还包括干预标志、时间戳、帧索引、片段索引、索引和任务索引等元数据。机器人类型为so_follower，数据以parquet文件格式存储，视频以mp4格式存储。数据集适用于模仿学习或强化学习在机器人操作任务中的应用。This dataset was created using LeRobot and is a robotics dataset specifically designed for a cup handover task with a robotic arm. It contains a total of 4 episodes and 1749 frames, with a frame rate of 30fps. Features include 6-dimensional actions (such as shoulder pan position, shoulder lift position, elbow flex position, wrist flex position, wrist roll position, and gripper position) and corresponding 6-dimensional state observations. Additionally, it provides front-view image observations with a resolution of 480x640, 3 channels, and video codec av1. The dataset also includes metadata such as intervention flags, timestamps, frame indices, episode indices, indices, and task indices. The robot type is so_follower, and the data is stored in parquet file format, with videos in mp4 format. The dataset is suitable for applications in imitation learning or reinforcement learning for robotic manipulation tasks.

搜集汇总

数据集介绍

构建方式

该数据集源自机器人操作领域，专注于物体递送任务，记录了一台SO-101型从动机器人执行杯子与匕首递送动作的完整过程。数据集通过LeRobot框架采集，包含4个独立回合（episode）、共计1749帧操作数据，以30帧每秒的速率同步记录机器人关节状态、动作指令与视觉信息。采用Parquet格式存储结构化数据，AV1编码视频保存前视摄像头画面，分辨率480×640，确保了数据在紧凑性与完整性之间的平衡。

特点

特征设计体现多模态融合与任务导向性。动作与观测状态均包含6维关节空间变量（肩部、肘部、腕部及夹爪），利于运动学建模。视频数据以高压缩比AV1编码，保留丰富视觉上下文。此外引入干预标记（intervention）与时间戳（timestamp），便于区分自主执行与人类遥操作。训练集以4:0拆分方式划分，适用于小样本模仿学习场景。

使用方法

推荐使用LeRobot库进行加载与预处理，通过指定数据集路径及配置名称'default'即可读取Parquet文件与视频帧。用户可提取动作序列与观测图像，构建端到端策略模型。数据集原生支持PyTorch等深度学习框架，利用'observation.state'与'action'字段可训练行为克隆或逆动力学模型。由于规模紧凑，适合作为机器人操作算法的快速验证平台。

背景与挑战

背景概述

该数据集由用户dbzfan2012于2025年5月29日创建，基于LeRobot框架构建，聚焦于机器人领域中的灵巧操作任务。核心研究问题在于通过模仿学习实现机器人双臂协作，具体场景为杯子与匕首的交接操作（cup handover dagger），这是机器人操作中极具代表性的细粒度任务。数据集采用SO-101构型的跟随机器人（so_follower），记录了6维关节动作（包括肩部、肘部、腕部及夹爪）以及480×640分辨率的前置视觉图像，总计4个episode、1749帧数据。虽然该数据集规模较小，但其规范的编码格式（Apache-2.0许可）和开放的发布方式，为机器人操作领域的模仿学习研究提供了可复现的基准样本，尤其适用于验证小样本条件下的策略泛化能力。

当前挑战

该数据集所解决的领域问题在于机器人精细操作中的模仿学习，核心挑战包括：1) 动作与视觉的高维耦合：机器人需从30 FPS的前置图像流中实时解析6维关节空间指令，而杯子与匕首的形状、材质差异导致抓取与交接动作的力反馈难以仅凭视觉建模；2) 小样本泛化困境：仅4个episode（1749帧）的数据量远低于标准化大规模数据集（如Open X-Embodiment的数万至百万级轨迹），模型极易陷入对特定初始条件的过拟合，难以适应光照、物体位姿或机器人运动学误差的微小变化；3) 构建过程受限于遥操作精度：数据采集依赖人类专家通过示教器或VR设备生成的演示轨迹，夹爪的微小滑动或交接失败路径可能被纳入样本，而缺乏自动化异常检测机制（如干预标记仅标注是否人工介入，未区分有效与失败交接），增加了数据清洗的隐性成本。

常用场景

经典使用场景

在机器人学习领域，模仿学习与行为克隆是推动技能获取的重要范式。该数据集记录了单臂机器人执行杯子递送任务的完整交互轨迹，包含6自由度关节状态、前视视觉图像及操作动作序列，为端到端策略学习提供了基准数据。研究者可利用其多模态融合特征（1500余帧、4个完整回合），训练从感知到动作的映射模型，尤其适用于高精度物体交接场景的模仿学习研究。视觉与状态信息的同步采集，使得模型能够同时捕捉环境动态与本体感知，构建鲁棒的机器人操控策略。

衍生相关工作

该数据集催生了多项前瞻性研究，包括基于扩散策略的动作序列生成、视觉运动变换网络（VMT）的跨任务泛化，以及残差强化学习对演示数据的增广方法。其标准化的LeRobot格式促进了可复现基准的建立，后续工作如RobotFLow、BridgeData等扩展数据集均借鉴了其状态空间定义与视频压缩方案。此外，研究者基于该数据开发了人机干预的离线评估框架，为探索示范偏差与动态规划稳定性提供了实验平台。整体而言，该数据集推动了机器人学中数据驱动与因果推理的交叉创新。

数据集最近研究

最新研究方向

当前，基于遥操作与模仿学习的灵巧操作研究正成为机器人领域的前沿热点。该数据集聚焦于杯子交接与匕首传递的精细动作捕捉，采用SO-100双臂协作平台，以30帧每秒的高频采样记录6自由度关节状态与前端视觉影像，总帧数达1749帧，覆盖4个完整回合。其在LeRobot生态下构建，兼容标准化的parquet与视频格式，为学习人类演示下的物体传递策略提供了高质量基准。结合近期具身智能与端到端操作学习的蓬勃发展，此类数据集有助于推动机器人从固定抓取向动态交接、柔性协作能力的跃迁，对安全人机交互与自动化装配场景具有里程碑意义。