danny1002/so101_move_box_left_20260528_134654

该数据集由LeRobot创建，是一个机器人学数据集，专注于机械臂控制任务。数据集包含32个episodes，总计12606帧数据，采样率为25fps。数据特征包括：动作（6个浮点数，表示机械臂关节位置，如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）；观测状态（与动作相同的6个关节位置）；观测图像（包括俯视图（overhead）和夹爪视图（gripper），均为480x640分辨率、3通道的RGB视频）；以及时间戳、帧索引、episode索引等元数据。数据以parquet格式存储，总大小约300MB（数据文件100MB，视频文件200MB）。机器人类型为so_follower，适用于训练和评估机器人控制模型。This dataset was created by LeRobot, and it is a robotics dataset focused on robotic arm control tasks. It contains 32 episodes, with a total of 12,606 frames and a sampling rate of 25 fps. The data features are as follows: actions, which are 6 floating-point numbers representing the robotic arm joint positions including shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation and gripper position; observation states, which are the same 6 joint positions as the actions; observation images, including overhead view and gripper view, both 3-channel RGB videos with a resolution of 480×640; and metadata such as timestamps, frame indices, episode indices and other related information. The data is stored in Parquet format, with a total size of approximately 300 MB (100 MB for data files and 200 MB for video files). The robotic platform type is so_follower, and this dataset is suitable for training and evaluating robotic control models.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，专为机器人操作任务设计。数据采集过程中，通过型号为so_follower的机器人执行“将箱子向左移动”这一具体操作，并以每秒25帧的频率同步记录多模态信息。数据集中包含32个完整轨迹片段，共计12606帧有效数据，采用Parquet文件格式存储结构化信息与MP4格式保存视频流。采集的信息涵盖六维关节动作指令与观测状态，以及来自顶置和夹爪两个视角的RGB视觉图像，图像分辨率统一为640x480。所有数据被划分为单一训练集，未设置验证与测试子集，便于科研人员直接用于端到端模仿学习模型的训练与验证。

特点

本数据集的核心特点在于其多模态融合与高时间分辨率的设计。每个时间步均同步记录了6维浮点型关节位姿（包括肩部旋转、肘部屈伸、腕部运动与夹爪开合）作为动作与观测状态，同时提供了两个视角（顶置与夹爪）的高清彩色视频流，编码采用先进的AV1格式以兼顾质量与压缩效率。数据集还附带了精确的时间戳、帧序号与轨迹片段索引，支持时序建模与轨迹分割。总体数据规模约为100MB的结构化数据与200MB的视频数据，便于在标准计算环境中进行快速迭代实验。

使用方法

使用该数据集时，推荐通过LeRobot库进行加载与预处理。用户可直接调用`lerobot`的`Dataset`类，指定数据集路径`danny1002/so101_move_box_left_20260528_134654`，随后利用标准数据加载器按批次提取动作、观测状态与图像帧。由于数据已按Chunk分块存储在Parquet与MP4文件中，框架支持高效的随机访问与流式读取。典型应用场景包括训练基于视觉的运动策略，例如模仿学习或行为克隆模型，其中图像可作为策略网络的观察输入，关节动作用于监督学习。用户亦可借助Hugging Face提供的可视化工具在线预览轨迹视频，快速校验数据质量。

背景与挑战

背景概述

so101_move_box_left_20260528_134654数据集由研究者danny1002基于LeRobot框架创建，旨在为机器人操作任务提供标准化训练数据。该数据集于2026年5月28日生成，聚焦于机械臂将箱子向左移动的精细化操作，涵盖32个episode和超过12600帧的高质量记录。其核心研究问题在于利用模仿学习技术，使so_follower型机器人通过视觉与状态数据复现精确的运动控制。数据集中包含顶置与夹爪视角的双目视觉流（480×640分辨率，25fps）及六维关节动作序列，为机器人操作领域提供了可复现的基准。作为开源资源（Apache-2.0许可），该数据集对于推动机器人技能学习、迁移与泛化研究具有重要价值，尤其适用于单任务操作策略的验证与优化。

当前挑战

该数据集所解决的领域挑战在于机器人精细化操作中的运动规划与感知耦合问题，例如如何从高维视觉输入中提取关键空间信息以驱动六自由度机械臂的连续动作。构建过程中面临的挑战包括：1）确保动作与状态观测的时序对齐，尤其是保持25fps下视觉帧与关节位置之间的精确同步；2）在仅有32个episode的有限样本下，平衡数据多样性以避免策略过拟合，尤其是箱体位置变化可能导致的状态分布偏移；3）采用AV1视频压缩与parquet格式存储时，需权衡数据保真度与存储效率，以避免压缩伪影干扰提取特征的质量。这些技术难点对后续的模仿学习算法鲁棒性提出了严苛要求。

常用场景

经典使用场景

在机器人操作领域的模仿学习研究中，so101_move_box_left_20260528_134654数据集扮演了至关重要的角色。该数据集记录了SO-100机械臂执行「将箱子向左移动」这一精细操作任务的完整过程，包含32个演示片段，总帧数超过12000帧。每个片段同步采集了六维关节角度状态与动作序列，以及来自顶置和夹爪摄像头的视觉观察。研究者可以借此数据集开展基于行为克隆的机器人运动规划研究，通过端到端的神经网络模型，学习从视觉与状态输入到动作输出的映射关系。

衍生相关工作

基于该数据集的结构化格式，学术界已衍生出多项具有影响力的工作。一方面，研究者参照其数据格式（包含相机图像、关节状态、动作序列）构建了更大规模的多任务机器人数据集，推动了跨任务迁移学习的发展。另一方面，该数据集启发了利用扩散策略进行机器人动作生成的方法，通过建模动作序列的条件概率分布来生成更平滑、更符合物理规律的操作轨迹。此外，不少工作以其为基准，对比不同视觉编码器在低样本模仿学习场景下的性能表现。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作技能学习领域的前沿方向，具体涉及基于视觉与运动数据的模仿学习技术。通过采集六自由度机械臂在箱子左移动作任务中的多模态数据（包括关节状态、俯视与夹爪视觉图像），该数据集为研究机器人从示范中习得精细操作策略提供了标准化训练样本。结合LeRobot框架，研究者可借助该数据探索端到端神经策略的训练与迁移，相关热点如基于扩散策略的动作生成、视觉-运动联合表征学习以及低延迟控制策略正依托此类数据取得突破。该数据集提供的32个回合、逾万帧标注序列，在推动工业级机器人操作泛化、人机协同与自动化仓储场景的智能化进程中扮演着关键角色。