mujoco-so101-take_out_box-mouse-v1.0

该数据集是使用LeRobot框架创建的机器人操作数据集，属于机器人学习领域。它模拟了名为so101_mujoco的机器人执行单一任务（推测为take_out_box-mouse）的过程。数据规模包含80个完整episodes，总计59996个数据帧，以Parquet文件格式存储，并伴有对应的视频文件。数据集提供丰富的多模态观测和动作信息：观测部分包括机器人的13维状态向量（包含6个关节的位置以及末端执行器的三维位置和四元数姿态），以及来自四个不同视角的RGB视频流（realsense、realsense_depth、realsense_depth_vis和wrist_cam），所有视频分辨率为480x640，帧率为30 fps，采用AV1编码。动作空间为6维，对应6个关节的位置控制。此外，数据还包含时间戳、帧索引、episode索引等元数据。该数据集适用于机器人模仿学习、强化学习、行为克隆等任务的研究与模型训练。

搜集汇总

数据集介绍

构建方式

该数据集基于MuJoCo物理仿真环境与SO-101机械臂平台构建，专注于‘take out box’（取箱）这一单一操作任务。利用LeRobot框架进行数据采集与格式化，共包含100个完整轨迹片段（episodes），总计74994帧数据，帧率为30 FPS。每个轨迹记录了机械臂从初始状态执行任务直至完成的完整过程，数据以Parquet格式存储，分为多个chunk文件，同时包含多视角视频数据（RealSense彩色、深度、深度可视化以及腕部相机），视频以AV1编码压缩。数据集的构建遵循LeRobot的v3.0规范，确保与现有机器人学习流程的兼容性。

特点

该数据集的核心特点在于其多维感知与精细控制信息的同步记录。动作空间（action）为6维向量，涵盖肩部、肘部、腕部及夹爪的位置控制；观测空间（observation.state）则扩展至13维，除关节位置外还包含末端执行器（ee）的三维位置与四元数姿态，为状态估计与运动规划提供了丰富信息。视觉观测方面，数据集提供了四个摄像头视角（RealSense RGB、深度、深度可视化、腕部相机），分辨率为480×640，为多模态融合学习与视觉伺服控制创造了条件。所有数据均以30 FPS的高频采集，时间戳与帧索引完整保存，便于时序建模。

使用方法

该数据集适用于模仿学习、行为克隆及强化学习等机器人操作任务的训练与评估。用户可通过LeRobot库便捷加载，调用`dataset = load_dataset('Juanchix/mujoco-so101-take_out_box-mouse-v1.0')`即可获取。数据已预设训练集切分（0至99号episode），可直接用于模型训练。对于需要视觉输入的算法，可通过`dataset[i]['observation.images.realsense']`等接口提取相应视频帧；动作与状态数据则以numpy数组形式直接访问。此外，LeRobot提供的可视化工具允许用户在线预览数据集内容，辅助数据质量检查与算法调试。

背景与挑战

背景概述

该数据集由研究者Juanchix采用LeRobot框架构建，专注于so101型机械臂在MuJoCo仿真环境中的“取盒”任务。作为机器人学习领域的重要资源，数据集以Apache-2.0许可证发布，包含100个示教回合、近75000帧的高频（30 FPS）动作与多模态观测数据。通过记录6维关节空间动作、13维状态信息及四路视觉输入（包括深度与腕部相机），数据集旨在弥合仿真与真实机器人操作之间的鸿沟，为模仿学习与强化学习算法提供标准化基准。其影响力体现在推动灵巧操作任务的复现与迁移研究，尤其在结构化任务（如取放操作）的端到端策略学习方面具有参考价值。

当前挑战

核心挑战在于如何将一个仿真环境中的示教数据集有效泛化至现实场景，具体包括：1）动力学差异问题——MuJoCo仿真与真实机械臂之间存在物理参数、摩擦特性等方面的偏差，直接迁移策略可能导致失败；2）视觉域适应难题——仿真渲染图像与真实相机图像在纹理、光照等方面存在差异，需解决跨域特征对齐；3）数据高效性问题——尽管包含100个回合的示教，但复杂操作任务所需的样本量仍可能不足，尤其在面对新颖物体或环境扰动时；4）多模态数据融合挑战——需要整合6维动作、13维状态以及四个视觉流的信息，对模型的可扩展性与实时处理能力提出较高要求。

常用场景

经典使用场景

在机器人操作与模仿学习领域，mujoco-so101-take_out_box-mouse-v1.0数据集为研究者提供了精细化的仿真环境数据，专注于“从桌面上取出盒子”这一典型灵巧操作任务。该数据集包含了100个完整演示片段，近75,000帧数据，记录了SO101机械臂在MuJoCo物理引擎下的关节角度、末端执行器位姿、夹爪状态以及多视角视觉观测（包括RGB图像与深度图）。经典使用方式是将观测状态与视觉输入作为输入，预测机械臂的六维动作指令，从而训练端到端的模仿学习或强化学习模型，实现高精度、可复现的盒体抓取与取出操作。

衍生相关工作

围绕该数据集已衍生出多项经典工作，如利用扩散策略（Diffusion Policy）进行高精度动作序列生成，以及基于Transformer架构的序列建模方法（如ACT算法）在操作轨迹预测中的成功应用。研究者还将数据集引入多任务学习框架，探索共享表示下的技能迁移。此外，结合世界模型（World Model）的离线强化学习方法被广泛验证于此数据集，推动了模型在仿真环境中预训练、在真实机械臂上零样本微调的范式。这些工作共同构成了仿真到现实操作技能迁移的核心方法论基础。

数据集最近研究

最新研究方向

该数据集聚焦于基于MuJoCo物理引擎的仿真机器人操控任务，具体为SO-101机械臂执行‘取出盒子’的精细操作。作为LeRobot生态中的标准化数据集，它融合了多视角视觉（Realsense RGB-D、腕部相机）与完整运动学状态信息（关节角、末端执行器位姿），为模仿学习与强化学习算法提供了高保真的‘动作-观测’对齐样本。当前前沿研究正借助此类仿真数据集探索跨实体迁移学习与视觉-运动联合表征，例如通过预训练策略提升策略在未见环境中的泛化能力，或利用深度图与RGB的跨模态融合改善物体抓取鲁棒性。该数据集的公开（Apache-2.0许可）显著降低了机器人学习领域的入门门槛，推动了基于大模型的行为克隆与离线强化学习在仿真→现实迁移场景中的进展。