danny1002/so101_move_box_left

该数据集是一个机器人控制数据集，由LeRobot创建，专注于机器人操作任务。数据集包含51个训练episodes，总计20164帧，帧率为25fps。数据特征包括动作（由6个关节位置组成，如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态（同样为6个关节位置）、以及两个摄像头图像观测：overhead视图和gripper视图，均为视频格式，分辨率480x640，3通道彩色。此外，还包含时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集采用parquet文件存储数据，视频文件为mp4格式，总数据大小约300MB（数据文件100MB，视频文件200MB），适用于机器人学习和控制研究。This dataset is a robotics control dataset created using LeRobot, focusing on robot manipulation tasks. It contains 51 training episodes with a total of 20,164 frames at 25 fps. The features include actions (comprising 6 joint positions such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (also 6 joint positions), and two camera image observations: overhead view and gripper view, both in video format with a resolution of 480x640 and 3 color channels. Additionally, it includes metadata such as timestamp, frame index, episode index, index, and task index. The dataset is stored in parquet files for data and mp4 files for videos, with a total size of approximately 300MB (100MB for data files and 200MB for video files), suitable for robotics learning and control research.

搜集汇总

数据集介绍

构建方式

该数据集专为机器人操作任务设计，聚焦于将方块向左移动的特定动作。利用LeRobot框架构建，采集自so_follower机器人平台，记录了51个完整操作回合，共计20164帧数据。数据以Parquet格式存储，并辅以MP4视频文件，包含顶置与夹爪双视角640x480像素的视觉观测。特征空间涵盖6维关节位置指令（动作与状态），以及时间戳、帧索引等元信息，确保对操作过程的完整刻画。

特点

数据集的显著特色在于其结构化的多模态融合：同时提供关节空间状态与高帧率（25fps）视觉信息，且采用经AV1编码压缩的视频流，在保持画质的同时优化存储。所有数据按回合组织，便于序列建模。任务单一但样本充足（超过2万帧），适合聚焦学习特定操作技能。开源Apache-2.0许可与完整的LeRobot兼容接口，使其易于集成至各类机器人学习流水线。

使用方法

使用者可通过标准Parquet解析库读取`data/`目录下的结构化数据，并利用`videos/`路径中的视频文件获取图像序列。推荐结合LeRobot库加载数据集，其`visualize_dataset`空间提供直接预览功能。训练时可将6维动作与状态向量作为监督信号，搭配双相机视觉输入构建模仿学习或强化学习模型。数据已预设训练分割（全部51回合），可直接用于模型训练与评估。

背景与挑战

背景概述

该数据集由用户danny1002创建，依托于Hugging Face LeRobot框架，旨在为机器人操作任务提供标准化的训练数据。数据集聚焦于将箱子向左移动这一单一操作，属于机器人模仿学习领域。其核心研究问题在于通过录制的示范数据，使机器人能够学习并复现精确的物体搬运动作。数据集包含51个演示片段，总计超过20000帧，涵盖了6自由度的关节位置和夹爪状态，并提供了俯视与夹爪视角的视觉信息。该数据集为机器人技能学习提供了一种结构化、可复现的基准数据，推动了基于示例的机器人控制方法的发展。

当前挑战

该数据集所解决的领域挑战在于机器人操作任务中的泛化能力与精细控制。具体而言，机器人需从高维视觉和状态空间中提取有效特征，以执行“将箱子向左移动”这一非结构化操作，这对感知与决策的协调提出了高要求。构建过程中也面临挑战，包括确保演示数据的一致性和多样性，避免过拟合单一示教路径；处理夹爪与物体的交互不确定性，如滑动或抓取失败；以及在高帧率下同步多模态数据（6维动作与2个摄像头视频），保证时间对齐与数据完整性。

常用场景

经典使用场景

在机器人学习领域，so101_move_box_left数据集以其精密的动作捕捉和高保真的视觉反馈而备受瞩目。该数据集收录了101次机器人将箱体向左移动的完整操作历程，涵盖超过两万帧的高清视频数据（包括顶视与夹爪视角）以及同步的六维关节动作序列。研究者可借此训练机器人模仿学习模型，例如行为克隆或逆强化学习算法，使机器人能够精准复现“向左推移箱体”这一复合操纵技能。数据集规范的采集频率（25帧每秒）与动作参数（肩、肘、腕及夹爪的多自由度控制）为模型提供了时序上连贯且物理上合理的示范轨迹，成为验证当代机器人运动规划与策略泛化能力的标准测试平台。

实际应用

在实际工业与物流应用中，so101_move_box_left数据集蕴含的“待机—抓取—侧移—释放”行为模式直接转化为人机协作的实用技能。基于该数据集训练的模型可部署于仓储分拣流水线，使机械臂能够自动地将纸箱从传送带移动至指定暂存区域。配合顶视摄像头提供的全局场景理解与夹爪视角的局部微调能力，机器人能在非结构化光照和部分遮挡条件下保持可靠的作业裕度。数据集中涵盖的51个完整回合展现的丰富轨迹变异，亦使得此类技能具备对箱体初始位置波动的鲁棒适应性，进而降低了自动化部署中对精确定位装置与人工示教的依赖。

衍生相关工作

围绕so101_move_box_left数据集，学界已衍生出一系列富有影响力的创新工作。在算法层面，该数据集被用于探索时序对比学习与动作分片的分层模仿框架，催生了将长时域动作分解为基元子序列的研究范式。在硬件适配方面，研究者将其作为跨本体迁移学习的基准，成功将从so_follower上习得的运动表征迁移至不同构型的协作机器人。此外，该数据集融合LeRobot生态的可视化接口，促使多个工作集中关注视觉注意力机制在抓取前鲁棒定位中的关键作用，以及共享运动先验对多任务策略加速收敛的效果评估。这些衍生贡献共同回馈并拓展了数据集在机器人技能习得领域的方法论根基。