aivanni/so101-puzzle

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=aivanni/so101-puzzle">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 12,
"total_frames": 19334,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:12"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建对于算法训练至关重要。so101-puzzle数据集依托LeRobot框架精心构建，通过采集真实机器人执行任务时的多模态数据形成。该数据集包含24个完整任务片段，总计39509帧数据，以每秒30帧的速率记录。数据以分块形式存储于Parquet文件中，每块约1000帧，便于高效访问与处理。同时，配套的视频文件以MP4格式保存，采用AV1编码，确保了视觉数据的质量与压缩效率。

使用方法

研究人员可利用该数据集推进机器人模仿学习与策略优化等前沿工作。数据集以标准Parquet格式组织，可直接通过LeRobot或类似工具链加载。典型使用流程包括读取分块数据文件，提取图像观测、关节状态与对应动作序列，进而训练视觉-动作映射模型。数据集已预设训练划分，涵盖全部24个任务片段，支持端到端的策略学习或行为克隆。用户还可借助配套可视化工具直观审视任务执行过程，深化对机器人操作场景的理解。

背景与挑战

背景概述

在机器人学习领域，模仿学习与视觉运动控制是推动智能体在复杂物理环境中自主操作的关键研究方向。so101-puzzle数据集由HuggingFace的LeRobot项目团队创建，旨在为机器人操作任务提供高质量的多模态演示数据。该数据集聚焦于解决特定拼图类任务的机械臂控制问题，通过集成关节状态、视觉观察与动作指令，为研究者构建端到端的策略学习模型奠定了数据基础。其设计体现了当前机器人学中数据驱动范式的发展趋势，即利用大规模真实世界交互数据来提升模型的泛化能力与鲁棒性。

当前挑战

该数据集致力于应对机器人操作任务中视觉-动作映射的复杂挑战，尤其是在非结构化环境中完成精细拼图操作时，需处理高维视觉输入与连续动作空间之间的对齐问题。在构建过程中，数据采集面临诸多困难，包括确保机械臂动作的平滑性与安全性、同步多视角视频流与关节状态数据的时间一致性，以及处理大规模视频数据的高效存储与检索。此外，标注高质量的动作轨迹并保持任务执行的多样性，亦是提升数据集实用性的关键障碍。

常用场景

经典使用场景

在机器人操作学习领域，so101-puzzle数据集为研究者提供了丰富的机器人执行拼图任务的交互数据。该数据集通过记录机械臂在完成拼图过程中的关节位置、夹爪状态以及多视角视觉信息，构建了一个典型的机器人操作场景。这些数据能够支持机器人模仿学习算法的训练，使机器人能够从人类演示中学习复杂的操作技能，进而实现自主完成拼图任务的目标。

解决学术问题

该数据集有效解决了机器人模仿学习中数据稀缺和任务泛化能力不足的学术难题。通过提供高质量的机器人操作轨迹和同步视觉观测，研究者可以深入探索基于视觉的端到端策略学习、多模态数据融合以及跨任务迁移等关键问题。其意义在于推动了机器人操作技能的泛化研究，为开发能够适应多样化环境的智能机器人系统奠定了数据基础。

实际应用

在实际应用层面，so101-puzzle数据集所蕴含的操作技能可直接应用于工业装配、物流分拣以及家庭服务机器人等领域。基于该数据集训练的模型能够提升机器人在非结构化环境中处理精细操作任务的能力，例如零件组装、物品抓取与放置等。这为开发具备更高自主性和灵活性的下一代机器人系统提供了重要的技术支撑。

数据集最近研究

最新研究方向

在机器人操作领域，so101-puzzle数据集凭借其多模态特性，为模仿学习与强化学习算法的融合提供了关键支持。该数据集包含丰富的关节状态、视觉观测及动作轨迹，尤其适用于研究视觉-动作映射的端到端策略学习。前沿探索聚焦于利用此类数据训练通用机器人模型，旨在提升机械臂在复杂拼图任务中的泛化能力与操作精度，推动家庭服务机器人的实际应用进程。