manila95/eval_so101_cube_eraser

该数据集是使用LeRobot工具创建的机器人数据集，专门用于机器人任务。数据集包含3个完整的情节，总计5376帧，帧率为30fps。数据集中包含机器人的动作数据（如肩部、肘部、腕部和抓手的位姿）、状态观测数据（与动作数据相同）、前视图像观测（分辨率为240x320的RGB视频）、时间戳、帧索引、情节索引等特征。机器人类型为so_follower，数据以parquet格式存储，视频以mp4格式存储。数据集适用于机器人控制、模仿学习或强化学习等任务。许可证：apache-2.0 任务类别： - 机器人学 标签： - LeRobot 配置： - 配置名称：default 数据文件：data/*/*.parquet --- 本数据集通过[LeRobot（LeRobot）](https://github.com/huggingface/lerobot) 创建。 可通过以下链接可视化本数据集：<https://huggingface.co/spaces/lerobot/visualize_dataset?path=manila95/eval_so101_cube_eraser> ## 数据集描述 - **主页：** [需要更多信息] - **论文：** [需要更多信息] - **许可证：** apache-2.0 ## 数据集结构 `meta/info.json` 文件内容如下： json { "代码库版本": "v3.0", "机器人类型": "so_follower", "总回合数": 3, "总帧数": 5376, "总任务数": 1, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "帧率": 30, "数据集划分": { "训练集": "0:3" }, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "动作": { "数据类型": "float32", "维度名称": [ "肩部方位关节位置", "肩部升降关节位置", "肘部弯曲关节位置", "腕部弯曲关节位置", "腕部旋转关节位置", "夹爪位置" ], "形状": [ 6 ] }, "观测.状态": { "数据类型": "float32", "维度名称": [ "肩部方位关节位置", "肩部升降关节位置", "肘部弯曲关节位置", "腕部弯曲关节位置", "腕部旋转关节位置", "夹爪位置" ], "形状": [ 6 ] }, "观测.前视图像": { "数据类型": "视频", "形状": [ 240, 320, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 240, "视频宽度": 320, "视频编码": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "维度名称": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "回合索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "全局索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null } } } ## 引用 **BibTeX格式：** bibtex [需要更多信息]

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，专注于机器人操控领域的评估任务。数据采集于so_follower机器人平台，总计包含5个完整操作回合（episodes），共计8943帧时序数据，统一以30帧/秒的采样率记录。数据集采用分块存储策略，将原始数据分割为多个约1000帧的chunk，并通过Parquet格式高效存储结构化的动作与状态信息，而视觉观测则以AV1编码的MP4视频文件独立保存，实现了多模态数据的清晰分离与高效管理。

特点

数据集围绕单一操作任务（cube_eraser）设计，体现了高度的任务专注性。其核心特点在于完整的观测空间设计：机械臂的6自由度关节状态（肩部俯仰、肘部弯曲等）与末端夹爪位置共同构成低维状态向量，同时辅以640×480分辨率的正面摄像头图像作为高维视觉输入。动作空间与状态空间维度一致，便于实现模仿学习中的状态-动作映射。所有数据均经时间戳与回合索引标注，为时序建模提供了精确的因果关系参考。

使用方法

用户可借助LeRobot库直接加载该数据集进行离线训练。数据集已预设训练集划分（覆盖全部5个回合），并提供了结构清晰的元信息文件（info.json）描述特征维度与存储路径。使用时需安装lerobot包，通过其数据API读取parquet文件中的动作、状态与视频帧，从而构建端到端的机器人操控模型。典型应用包括行为克隆（Behavior Cloning）与扩散策略（Diffusion Policy）等模仿学习算法的训练与评估。

背景与挑战

背景概述

在机器人学习领域，模仿学习与示教学习算法依赖高质量、结构化的演示数据集以实现精细操作技能的迁移。eval_so101_cube_eraser数据集由研究者manila95借助LeRobot框架创建，专注于单任务灵巧操作——擦拭立方体。该数据集包含5个演示回合，共计8943帧，以30帧/秒的采样率记录了六自由度追随机器人的关节位置与夹爪状态，同时采集了前置摄像头的高清视觉信息。数据集遵循Apache-2.0开源协议发布，为机器人操作策略的评估与基准测试提供了标准化的数据资源。其发布对于推动机器人从感知到动作的端到端学习范式、促进可重复性研究具有潜在价值。

当前挑战

该数据集所解决的领域问题核心在于机器人精细操作中的泛化性与鲁棒性挑战：如何基于有限演示教会机器人执行诸如擦拭立方体这类需要力控与视觉协调的任务。在构建过程中，挑战首先体现在硬件层面，需精确标定六自由度机械臂与夹爪的物理参数，确保动作记录的准确性；其次，数据采集阶段需协调多模态传感器（关节反馈与视觉流）的时序同步，避免帧偏移导致策略学习失败；最后，由于仅有5个回合的演示数据，面临小样本学习下的数据多样性不足难题，可能限制模型在未知初始状态或光照条件下的表现。

常用场景

经典使用场景

在机器人操作与技能学习领域，eval_so101_cube_eraser数据集为模仿学习与行为克隆算法的验证提供了高保真的测试平台。该数据集记录了SO-100系列机械臂在立方体擦除任务中的完整操作轨迹，包含6自由度关节状态、末端执行器动作序列以及前置摄像头捕捉的视觉流。研究者可借助这些同步采集的多模态数据，训练机器人从视觉输入到运动控制的端到端映射模型，或评估不同策略在精密操作任务中的泛化能力。由于数据采集频率达到30帧每秒，且动作和状态空间均采用物理一致的坐标命名方式，该数据集特别适合用于验证控制策略在连续动作空间中的平滑性与稳定性。

实际应用

在工业自动化与家庭服务机器人的实际部署中，eval_so101_cube_eraser数据集所模拟的物体表面清洁操作具有直接的应用价值。它教给机器人如何通过协调多关节运动与视觉反馈来实现对特定物体的精确擦拭，这一技能可迁移至玻璃清洁、电子元件表面处理等需要一致施力与轨迹规划的工业场景。在服务机器人领域，该数据集训练出的策略可用于辅助老年人或残障人士完成桌面清理等日常任务。此外，由于数据采集采用了低成本的SO-100机械臂平台，该数据集还降低了硬件门槛，使得更多实验室和初创企业能够在真实机器人上验证其算法，加速了从学术研究到实际产品转化的进程。

衍生相关工作

该数据集已深度融入LeRobot生态系统，衍生出多项围绕机器人模仿学习的基础性研究工作。其中最具代表性的是对基于扩散策略的动作生成模型的研究，研究者利用该数据集的结构化演示数据训练条件扩散模型，大幅提升了多模态动作分布建模的精度。此外，围绕该数据集还衍生出关于视觉状态空间模型与动作解码器联合训练的经典工作，探索了如何通过对比学习从单视角视频流中提取更鲁棒的状态嵌入。在实时控制领域，基于该数据集开发的延迟补偿方法有效缓解了视觉-运动异步问题。这些衍生工作共同验证了标准化的高保真数据集对于推动机器人学习领域算法迭代的关键作用。