oliveoil8888/so101_right_clear_table_20260529_150451

该数据集由LeRobot创建，用于机器人学任务，包含5个episodes和2240个帧。数据特征包括动作（如肩部、肘部、腕部和抓取器的位置）、观测状态（与动作相同的位置信息）、来自前摄像头的图像观测（480x640分辨率，RGB通道，30fps视频），以及时间戳、帧索引、episode索引等元数据。数据以parquet文件格式存储，视频以mp4格式存储，适用于机器人控制和模仿学习任务。This dataset was created using LeRobot for robotics tasks, containing 5 episodes and 2240 frames. Features include actions (e.g., positions of shoulder, elbow, wrist, and gripper), observation states (same position information as actions), image observations from a front camera (480x640 resolution, RGB channels, 30fps video), and metadata such as timestamp, frame index, episode index, etc. Data is stored in parquet files, with videos in mp4 format, suitable for robot control and imitation learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人桌面清理任务，具体由so101型号机器人右侧执行清理操作。数据采集于2026年5月29日15:04:51开始，共包含5个完整操作片段，总计2240帧图像与对应状态信息。每条数据记录以30帧/秒的采样率同步采集机器人六自由度关节位置（shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll）及夹爪状态，并存储为动作与观测状态的双通道浮点型数组。视觉信息由前置摄像头以480×640分辨率、30帧/秒的AV1编码视频记录，数据与视频文件分别以parquet和mp4格式分块存储，便于高效加载与索引。

特点

数据集最显著的特点在于其多模态对齐的精细设计：机器人六维关节动作与观测状态以完全相同的数据结构存储，便于进行模仿学习中的策略网络输入输出匹配。视觉观测采用高压缩率的AV1编码视频，在节省存储空间的同时保持30帧/秒的流畅度，且包含丰富的编码参数（如CRF 30、预设12）供研究人员按需调整。数据集结构清晰，包含episode_index、frame_index、task_index等多级索引字段，支持按片、按帧或按任务的灵活检索。尽管总体量仅5个片段的规模，但其单任务专注性（仅桌面清理一项）为机器人动作基元的精细研究提供了高质量样本。

使用方法

推荐通过LeRobot库直接加载使用，可调用`dataset = lerobot.load_dataset("oliveoil8888/so101_right_clear_table_20260529_150451")`快速获取数据。数据预划分为训练集（全部5个片段），用户亦可利用Hugging Face Spaces的在线可视化工具（`visualize_dataset`）直观浏览数据内容。在实际训练中，可基于`action`与`observation.state`的六维向量实现行为克隆或强化学习策略，通过`observation.images.front`的视频帧引入视觉输入，构建端到端的机器人操作模型。建议将数据分块大小保持为1000帧以匹配原始分片逻辑，并利用`chunks_size`参数控制内存加载的平衡性。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种高效获取复杂操作技能的方法，近年来备受关注。so101_right_clear_table_20260529_150451数据集由研究者oliveoil8888创建，基于LeRobot框架构建，专注于机器人桌面清理任务。该数据集包含5个完整回合、共2240帧的高频（30FPS）动作与状态记录，通过SO系列机械臂的6自由度关节空间（包含肩部、肘部、腕部及夹爪）以及前置RGB视觉输入（640x480分辨率）进行数据采集。其核心研究问题在于为机器人提供从视觉观测到精确动作映射的标准化训练样本，推动灵巧操作技能的可复制研究。尽管规模较小，该数据集以Apache-2.0许可证开放，为机器人操作领域的低样本学习与行为克隆方法提供了兼具视觉与运动学信息的基准资源。

当前挑战

该数据集面临的挑战主要体现在两个维度。在领域问题层面，桌面清理任务要求机器人处理非结构化环境中物体的多样位置、形态与材质，这对模型从有限演示（仅5回合）中泛化至未见布局的能力构成严峻考验。同时，6自由度动作空间与高维视觉输入的时空对齐复杂性，易导致模仿学习中常见的复合误差累积。在构建过程中，挑战源于数据采集精度与效率的平衡：使用单个视角的前置摄像头可能遗漏关键深度信息，而关节角度编码器仅提供运动学状态，缺乏力反馈或触觉信号以应对抓取接触时的微妙调整。此外，视频采用AV1编码以压缩存储（视频文件200MB），但在实时性要求高的机器人应用中，解码延迟与数据回放同步问题亦需优化。

常用场景

经典使用场景

在机器人学习与灵巧操作的研究领域中，'so101_right_clear_table_20260529_150451'数据集凭借其精巧的采集结构与高保真度数据，成为行为克隆与模仿学习算法的理想训练基石。该数据集以6自由度串联机械臂为核心，记录了肩关节、肘关节、腕关节及夹爪的完整动作序列，配合每秒30帧的前置摄像头视觉流，构建了状态-动作-视觉三位一体的闭环映射。其最经典的使用场景是桌面清理任务中从初始混乱状态到目标整洁状态的端到端策略学习，研究人员可直接利用LeRobot框架加载数据，对神经网络策略进行超越简单轨迹复制的泛化性训练。

解决学术问题

该数据集系统性地回应了机器人操作中长程任务可复现性不足与跨物体泛化性脆弱的学术困境。通过提供连续5个完整回合、总计2240帧的高频采样数据，它缓解了小样本模仿学习中数据匮乏与动作颤抖的矛盾，为机器人策略的平滑性与鲁棒性提供了量化评估基准。在学术意义上，该数据集推动了多模态融合表征研究的发展，特别是视觉与关节编码在时序对齐中的协同优化问题，其发布标志着开源社区对重复性桌面整理任务的规范化研究迈出了坚实一步。

衍生相关工作

围绕该数据集在操作学习中的独特位置，衍生出了一系列富有启发性的经典工作。LeRobot框架本身便是其直接产物，为数据的标准化采集、存储与可视化提供了统一范式。此外，基于该数据集的轻量级策略如扩散策略与行为Transformer的微调实验，验证了离线模仿学习在精细操作中的有效性；而关于位姿预测与抓取成功率之间隐性关联的统计建模，则进一步拓展了从低维状态空间到高维操作空间的推导途径。这些工作共同构建了桌面清理任务从数据到部署的完整研究链路。