vdongre2/so101_pickplace

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=vdongre2/so101_pickplace">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 2,
"total_frames": 1139,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:2"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.top": {
"dtype": "video",
"shape": [
720,
1280,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 720,
"video.width": 1280,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，so101_pickplace数据集依托LeRobot平台构建，专注于拾取与放置任务的示范数据采集。该数据集通过记录机械臂在特定任务中的连续动作序列与多模态观测信息，以结构化方式组织数据。具体而言，数据以分块存储于Parquet格式文件中，每个数据块包含时间戳、帧索引及任务索引等元数据，确保数据的高效访问与完整性。数据采集过程中，机械臂的关节位置与前端及顶部摄像头捕捉的视频流被同步记录，形成动作与观测的对应关系，为后续的机器人策略学习提供详实的训练素材。

特点

so101_pickplace数据集展现出多模态与高维度的显著特点，其观测部分融合了机械臂的关节状态信息与双视角视觉数据。关节状态涵盖肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置六个维度，以浮点数值精确表征动作空间。视觉数据则提供前视与顶视两个角度的视频流，分辨率分别为640x480与1280x720，帧率稳定在30fps，采用AV1编码格式，确保了图像质量的清晰与流畅。数据集整体规模包含2个完整任务片段，总计1139帧数据，数据与视频文件大小分别为100MB与200MB，结构紧凑且便于分布式处理与模型训练。

使用方法

该数据集适用于机器人模仿学习与强化学习算法的开发，用户可通过LeRobot工具链或直接加载Parquet文件进行数据解析。在模型训练中，观测图像与关节状态可作为输入特征，动作数据则作为监督信号，用于训练端到端的控制策略。数据集的帧索引与时间戳字段支持时序建模，而分块存储设计允许按需加载，有效管理内存资源。此外，数据集提供可视化接口，便于研究者直观检查任务执行过程，调试算法并评估性能，从而加速机器人抓取与放置相关技术的创新与应用。

背景与挑战

背景概述

在机器人操作领域，模仿学习与强化学习正成为推动智能体自主执行复杂任务的关键技术。so101_pickplace数据集由LeRobot团队构建，专注于机器人拾放操作任务，旨在为机器人控制算法提供高质量的多模态演示数据。该数据集整合了机械臂的关节状态、视觉观测及动作指令，通过结构化记录支持端到端策略学习的研究。其创建顺应了机器人学对大规模、真实世界交互数据的需求，为开发泛化能力强、鲁棒性高的操作模型奠定了数据基础。

当前挑战

so101_pickplace数据集所针对的机器人拾放任务，面临环境动态性、物体多样性以及动作精确度等核心挑战，要求模型具备强大的感知与决策能力。在数据集构建过程中，采集多视角同步视频与高精度关节轨迹数据涉及复杂的传感器校准与时间同步问题，同时确保数据标注的一致性与完整性亦需精细设计。此外，大规模多模态数据的存储与高效访问，以及跨场景的任务泛化验证，均是当前亟待解决的技术难点。

常用场景

经典使用场景

在机器人操作领域，so101_pickplace数据集为机械臂抓取与放置任务提供了丰富的多模态数据。该数据集通过LeRobot平台采集，包含来自前视与顶视摄像头的视频流、关节状态及动作指令，为模仿学习与强化学习算法提供了标准化的训练环境。研究者可基于此数据集构建端到端的控制模型，模拟真实世界中的物体抓取场景，从而优化机械臂的轨迹规划与执行精度。

实际应用

在实际工业自动化与物流分拣场景中，so101_pickplace数据集可应用于机械臂的智能抓取系统开发。基于数据集训练的模型能够适应不同形状、位置的物体，实现高效准确的抓取与放置操作，提升生产线效率。此外，该数据集还可用于服务机器人或家庭助理机器人的技能学习，使其具备基本的物品整理能力，拓展了机器人在日常环境中的应用潜力。

衍生相关工作

围绕so101_pickplace数据集，已衍生出多项经典研究工作，主要集中在机器人模仿学习与视觉运动控制领域。例如，基于该数据集的离线强化学习算法探索了从历史数据中提取策略的方法；同时，结合视觉Transformer的端到端模型也被用于提升动作预测的准确性。这些工作进一步推动了数据驱动机器人技术的发展，并为后续更大规模数据集的构建提供了方法论参考。