Juanchix/so101_mujoco_mouse_take_out_box

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=Juanchix/so101_mujoco_mouse_take_out_box">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so101_mujoco",
"total_episodes": 10,
"total_frames": 7433,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:10"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"shape": [
6
],
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
]
},
"observation.state": {
"dtype": "float32",
"shape": [
6
],
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
]
},
"observation.images.realsense": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

license: apache-2.0
任务类别：
- 机器人学
标签：
- LeRobot
配置项：
- 配置名称：default
数据文件：data/*/*.parquet
---

本数据集由[LeRobot](https://github.com/huggingface/lerobot)框架构建而成。

可点击[此处](https://huggingface.co/spaces/lerobot/visualize_dataset?path=Juanchix/so101_mujoco_mouse_take_out_box)可视化本数据集（附带明暗主题适配的可视化徽章）

## 数据集描述
- **主页：** [需补充更多信息]
- **论文：** [需补充更多信息]
- **许可证：** Apache-2.0

## 数据集结构
[meta/info.json](meta/info.json)：
json
{
"代码库版本": "v3.0",
"机器人类型": "so101_mujoco",
"总回合数": 10,
"总帧数": 7433,
"总任务数": 1,
"分块大小": 1000,
"数据文件总大小（MB）": 100,
"视频文件总大小（MB）": 200,
"帧率": 30,
"数据集划分": {
"训练集": "0:10"
},
"数据文件路径": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"视频文件路径": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"数据特征": {
"动作": {
"数据类型": "float32",
"形状": [6],
"维度名称": [
"肩关节旋摆.pos",
"肩关节抬升.pos",
"肘关节屈曲.pos",
"腕关节屈曲.pos",
"腕关节滚动.pos",
"夹爪.pos"
]
},
"观测数据.状态": {
"数据类型": "float32",
"形状": [6],
"维度名称": [
"肩关节旋摆.pos",
"肩关节抬升.pos",
"肘关节屈曲.pos",
"腕关节屈曲.pos",
"腕关节滚动.pos",
"夹爪.pos"
]
},
"观测数据.图像.RealSense": {
"数据类型": "video",
"形状": [480, 640, 3],
"维度名称": [
"高度",
"宽度",
"通道数"
],
"详细信息": {
"视频.高度": 480,
"视频.宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"是否为深度图": false,
"视频帧率": 30,
"视频通道数": 3,
"是否包含音频": false
}
},
"时间戳": {
"数据类型": "float32",
"形状": [1],
"维度名称": null
},
"帧索引": {
"数据类型": "int64",
"形状": [1],
"维度名称": null
},
"回合索引": {
"数据类型": "int64",
"形状": [1],
"维度名称": null
},
"全局索引": {
"数据类型": "int64",
"形状": [1],
"维度名称": null
},
"任务索引": {
"数据类型": "int64",
"形状": [1],
"维度名称": null
}
}
}

## 引用
**BibTeX格式：**
bibtex
[需补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人操作任务的数据采集领域，so101_mujoco_mouse_take_out_box数据集依托LeRobot平台构建，通过模拟环境中的机械臂操作过程系统性地收集数据。该数据集包含10个完整的情节，总计7433帧，以30帧每秒的速率记录，数据以分块Parquet文件形式存储，每块约1000帧，确保了高效的数据管理与访问。采集过程涵盖了机械臂的六维关节位置动作、对应的状态观测以及高分辨率的视觉图像，为机器人学习提供了多模态的时序轨迹。

使用方法

研究人员可通过HuggingFace平台直接访问该数据集，利用LeRobot提供的工具链进行数据加载与可视化。数据集按训练集划分，所有情节均用于训练，用户可依据Parquet文件路径读取动作、观测及视频数据。典型应用包括机器人行为克隆、强化学习算法验证以及多模态感知模型训练。通过集成时间戳与索引信息，能够重构连续的操作序列，进而支持端到端的策略学习或离线评估实验。

背景与挑战

背景概述

在机器人学习领域，模拟环境下的操作技能获取是推动智能体自主执行复杂任务的关键。so101_mujoco_mouse_take_out_box数据集由HuggingFace的LeRobot项目创建，专注于模拟机械臂执行物体抓取与移出箱体的操作任务。该数据集依托MuJoCo物理引擎构建，记录了机械臂关节状态、动作指令及视觉观测数据，旨在为强化学习与模仿学习算法提供高质量的训练资源。其设计反映了当前机器人研究中对可扩展、多模态数据集的迫切需求，以促进从模拟到真实世界的技能迁移。

当前挑战

该数据集致力于解决机器人操作任务中的技能泛化问题，其核心挑战在于如何从有限的演示数据中学习鲁棒的控制策略，以应对物体姿态、环境扰动等不确定性因素。构建过程中的挑战涉及多模态数据的同步与对齐，需确保关节状态、视觉流与时间戳的高精度匹配；同时，模拟环境与真实世界的动力学差异导致数据代表性受限，增加了跨域迁移的难度。此外，数据规模较小可能制约模型容量，需通过高效的数据增强或课程学习策略弥补样本多样性不足的缺陷。

常用场景

经典使用场景

在机器人操作学习领域，so101_mujoco_mouse_take_out_box数据集为模拟环境下的机械臂操作任务提供了丰富的示范数据。该数据集通过MuJoCo物理引擎模拟了SO101型机械臂执行“从盒子中取出鼠标”的精细操作过程，涵盖了关节位置、图像观测及时间戳等多模态信息。研究人员常利用此类数据集训练强化学习或模仿学习模型，以探索机械臂在复杂抓取与放置任务中的自主决策能力，尤其在仿真到现实迁移的研究中扮演关键角色。

解决学术问题

该数据集主要针对机器人操作中的稀疏奖励、高维状态空间及多模态感知融合等核心学术挑战。通过提供精确的关节动作序列与同步的视觉观测数据，它助力解决模仿学习中行为克隆的分布漂移问题，并支持离线强化学习算法在安全仿真环境中的验证与优化。其结构化记录的时间戳与帧索引，为时序决策模型的训练提供了坚实基础，显著推动了仿真环境下操作策略的样本效率与泛化性能研究。

实际应用

在实际工业自动化与物流分拣场景中，此类数据集能够指导机械臂执行精细物品抓取任务。基于仿真数据训练的模型可初步部署于实体机器人，用于电子产品装配、仓储物流中的鼠标等小型物件抓取与包装。通过迁移学习技术，模型能够适应真实世界的传感器噪声与动力学差异，降低实体机器人训练的成本与风险，为智能制造中的柔性操作提供可靠的技术验证途径。

数据集最近研究

最新研究方向

在机器人操作领域，模拟环境与真实世界的数据融合正成为研究热点。so101_mujoco_mouse_take_out_box数据集通过MuJoCo仿真平台记录了机械臂执行取物任务的多模态数据，包括关节状态、视觉观测与动作序列。这一数据集为模仿学习与强化学习算法的训练提供了丰富资源，尤其支持端到端策略的视觉-动作映射研究。当前前沿方向聚焦于利用此类仿真数据预训练模型，再通过少量真实世界数据进行微调，以解决机器人泛化能力与样本效率的挑战。随着LeRobot等开源平台的推广，标准化仿真数据集正加速机器人学习社区的协作创新，推动家庭服务机器人等实际应用的算法突破。