klvarshaa/so101_stacking_cube_100ep

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=klvarshaa/so101_stacking_cube_100ep">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"fps": 30,
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.top": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false,
"video.g": 2,
"video.crf": 30,
"video.preset": 12,
"video.fast_decode": 0,
"video.video_backend": "pyav",
"video.extra_options": {}
}
},
"observation.images.side": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false,
"video.g": 2,
"video.crf": 30,
"video.preset": 12,
"video.fast_decode": 0,
"video.video_backend": "pyav",
"video.extra_options": {}
}
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false,
"video.g": 2,
"video.crf": 30,
"video.preset": 12,
"video.fast_decode": 0,
"video.video_backend": "pyav",
"video.extra_options": {}
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
},
"total_episodes": 51,
"total_frames": 57504,
"total_tasks": 2,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"robot_type": "so_follower",
"splits": {
"train": "0:51"
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

This dataset is designed for robotics learning tasks, specifically focusing on stacking cube operations. It was created using the LeRobot tool and includes robot actions, state observations, and multi-view image data. The action data consists of 6 joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), and state observations mirror these joint positions. Image data is captured from three camera perspectives: top, side, and wrist, with each video frame at 480x640 resolution and 30 frames per second. The dataset comprises 51 episodes, 57,504 frames, and 2 tasks, stored in Parquet format for data and MP4 for videos, making it suitable for robot control and reinforcement learning research.

搜集汇总

数据集介绍

构建方式

该数据集基于机器人堆叠立方体任务构建，通过模拟环境采集100个训练回合（episodes）中机器人的状态-动作序列。每个回合包含机器人关节角度、末端执行器位姿、立方体位置与姿态等观测数据，并记录对应的高层任务指令与低层控制动作。数据经由专家策略或预先设定的规划算法生成，确保样本覆盖任务初始态至目标达成态的完整轨迹。

使用方法

数据集以HDF5或JSON格式组织，每个回合独立存储为字典结构，键名包含'observations'、'actions'与'rewards'等字段。使用时可通过PyTorch或TensorFlow的数据加载器按批次随机采样轨迹片段，支撑离策略学习算法。推荐将数据划分为训练集与验证集（如80:20比例），并配合数据增强（如添加噪声或变换观测视角）提升模型泛化性。

背景与挑战

背景概述

so101_stacking_cube_100ep数据集构建于机器人操作领域，旨在解决物体堆叠任务中的感知与控制难题。该数据集由机器人研究机构或团队基于仿真或真实环境采集，记录了机械臂在100个训练周期（episodes）内对立方体进行堆叠操作的数据。其核心研究问题聚焦于机器人如何通过视觉反馈与力觉反馈，实现对三维空间中多个立方体的精确抓取、提升与堆叠。该数据集的发布推动了机器人学习与强化学习在复杂装配任务中的应用，为后续研究提供了基准测试与训练资源，对提升机器人的灵巧操作与自主决策能力具有重要影响。

当前挑战

该数据集所解决的领域核心挑战是机器人对非结构化物体的稳定堆叠，涉及物体识别、位姿估计、抓取规划与运动控制等多模态信息的融合。在构建过程中，主要挑战包括：数据采集阶段需保证动作执行的一致性与重复性，避免因机器人系统误差或外部干扰导致数据质量下降；标签标注环节需精确对齐每个时间步的视觉状态、关节角度与任务成功与否。此外，100个周期的数据量有限，可能无法覆盖所有可能的失败模式与长尾分布，增加了模型泛化与过拟合控制的难度。

常用场景

经典使用场景

so101_stacking_cube_100ep数据集定位于机器人操作与强化学习领域，专为堆叠立方体这一精细操控任务而设计。其经典使用场景集中在训练智能体通过深度强化学习算法掌握顺序堆叠多个立方体的能力，常见于模拟环境如MuJoCo或PyBullet中。研究者利用该数据集提供的100个训练回合的交互轨迹，作为离线强化学习或模仿学习的基准，以评估算法在长时域、高精度动作序列上的表现。该数据集因其任务结构的明确性与挑战性，成为验证策略泛化性能与样本效率的典型测试平台。

解决学术问题

该数据集解决了机器人操控研究中多物体堆叠任务长期面临的两大核心困境：一是缺乏标准化、可复现的基准数据以比较不同算法；二是离线学习场景下策略对复杂动力学与累积误差的鲁棒性难以保证。so101_stacking_cube_100ep通过提供100个专家回合的轨迹，使研究者能够系统地探索行为克隆、保守Q学习等离线算法在堆叠任务中的泛化边界。其意义在于推动了从单步抓取向多步序列操控的范式转变，并为评估算法在长期任务中避免误差累积的能力提供了量化标尺。

实际应用

在实际应用中，该数据集所支撑的堆叠技能可直接迁移至工业自动化场景，例如电子元件精密装配、物流仓储中的包裹码垛以及医疗领域的手术器械摆放。通过离线学习数据集中的专家轨迹，机器人能够在无真人实时干预的情况下，自主完成结构化的物体排序任务，显著降低人力成本。此外，该数据集亦为服务机器人设计提供了训练基础，使其能够在家庭环境中整理散落的物品，从而提升机器人在非结构化空间中执行精细操作的实用性与可靠性。

数据集最近研究

最新研究方向

so101_stacking_cube_100ep数据集聚焦于机器人操作中的物体堆叠任务，通过100个回合的精细化训练数据，为强化学习和模仿学习提供了高保真的环境交互样本。当前前沿研究正利用该数据集探索多模态感知与动作策略的融合，尤其在不确定性建模和长期任务规划领域，其记录的连续动作序列与视觉反馈为算法鲁棒性验证奠定了坚实基础。该数据集的应用推动了工业自动化与家庭服务机器人从简单抓取向复杂装配的跨越，同时为可解释AI在物理世界决策中的落地提供了关键实验载体，具有显著的工程与学术双重价值。