vdongre2/so101_pick_place

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=vdongre2/so101_pick_place">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 3,
"total_frames": 432,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:3"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.top": {
"dtype": "video",
"shape": [
720,
1280,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 720,
"video.width": 1280,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建往往依赖于真实的物理交互过程。so101_pick_place数据集通过LeRobot平台采集，记录了机械臂执行抓取与放置任务的完整轨迹。该数据集包含三个独立的情节，总计432帧数据，以30帧每秒的速率录制，并以分块Parquet文件格式存储，确保了数据的高效访问与处理。视频数据采用AV1编码，分别从前视和顶视两个角度捕捉，为机器人状态提供了多视角的视觉观测。

特点

该数据集的特点体现在其多维度的数据表征上。除了包含机械臂六个关节的位置动作与状态观测外，还整合了前视（480x640）与顶视（720x1280）的双视角RGB视频流，丰富了环境感知信息。数据结构清晰，每个帧均附有时间戳、帧索引、情节索引等元数据，支持精细的时序分析与任务划分。数据集规模适中，专注于单一的抓取放置任务，适合用于机器人模仿学习与策略验证的研究。

使用方法

使用该数据集时，研究者可通过HuggingFace平台直接加载Parquet格式的数据文件。数据集已预分为训练集，涵盖全部三个情节，便于直接用于模型训练。用户可以利用提供的视频路径访问视觉数据，结合动作与状态特征，构建端到端的机器人控制模型。数据集的标准化特征定义简化了预处理步骤，支持与LeRobot等机器人学习框架无缝集成，加速算法开发与实验迭代。

背景与挑战

背景概述

在机器人操作领域，模仿学习与强化学习已成为实现复杂任务自动化的重要范式。so101_pick_place数据集由Hugging Face的LeRobot项目创建，专注于机械臂的拾取与放置任务。该数据集通过整合多视角视觉观测与关节状态信息，旨在为机器人策略学习提供高质量的示范数据。其结构包含来自so_follower机器人的动作序列、状态观测及同步视频流，体现了当前机器人数据集向多模态、高帧率记录的发展趋势，为研究端到端机器人控制算法提供了关键资源。

当前挑战

该数据集致力于解决机器人操作中拾取与放置任务的泛化性与鲁棒性挑战，此类任务需应对物体姿态多样性、环境干扰及精确抓取规划等复杂问题。在构建过程中，数据集面临数据采集的同步性与一致性难题，需确保多传感器（如关节编码器与摄像头）的时间对齐；同时，大规模视频数据的存储与高效处理也对计算资源提出了较高要求，而有限的示范样本规模可能限制学习模型的泛化能力。

常用场景

经典使用场景

在机器人操作领域，so101_pick_place数据集为抓取与放置任务提供了宝贵的多模态数据资源。该数据集通过整合机械臂的关节状态、前视与顶视摄像头视频流，以及精确的时间戳信息，为研究人员构建端到端的模仿学习或强化学习模型奠定了数据基础。其经典应用场景在于训练机器人从视觉观察中直接推断出精确的动作指令，实现自主的物品抓取与定位放置，这对于提升机器人在非结构化环境中的适应性与操作精度具有关键意义。

衍生相关工作

围绕so101_pick_place这类机器人操作数据集，学术界已衍生出诸多经典研究工作。例如，基于视觉的端到端策略网络、结合动力学模型与视觉特征的混合学习方法，以及利用序列模型进行长时程任务规划的研究。这些工作普遍利用数据集提供的多视角视频和精确动作标签，探索了如何更高效地从演示中学习，并将技能泛化至新的物体和场景，持续推动着机器人灵巧操作领域的边界。

数据集最近研究

最新研究方向

在机器人操作领域，so101_pick_place数据集作为LeRobot项目的一部分，正推动着基于视觉的强化学习与模仿学习的前沿探索。该数据集整合了多视角视频流与关节状态数据，为研究端到端策略学习提供了丰富模态信息，尤其关注拾放任务中复杂场景的泛化能力。随着具身智能的兴起，此类数据集助力模型在真实世界交互中实现更精准的动作预测与规划，成为连接仿真环境与实际机器人部署的关键桥梁，促进了开放世界操作任务的算法创新与基准测试。