vdongre2/so101_pickplace4

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=vdongre2/so101_pickplace4">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 1,
"total_frames": 758,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:1"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.top": {
"dtype": "video",
"shape": [
720,
1280,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 720,
"video.width": 1280,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

许可证：Apache-2.0
任务类别：
- 机器人学
标签：
- LeRobot
配置项：
- 配置名称：default
数据文件路径：data/*/*.parquet
---

本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=vdongre2/so101_pickplace4">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## 数据集说明

- **主页：** [需补充更多信息]
- **论文：** [需补充更多信息]
- **许可证：** Apache-2.0

## 数据集结构

[meta/info.json]:
json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 1,
"total_frames": 758,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:1"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"肩关节 pan 轴位置",
"肩关节 lift 轴位置",
"肘关节 flex 轴位置",
"腕关节 flex 轴位置",
"腕关节 roll 轴位置",
"夹爪位置"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"肩关节 pan 轴位置",
"肩关节 lift 轴位置",
"肘关节 flex 轴位置",
"腕关节 flex 轴位置",
"腕关节 roll 轴位置",
"夹爪位置"
],
"shape": [
6
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.top": {
"dtype": "video",
"shape": [
720,
1280,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 720,
"video.width": 1280,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}

## 引用

**BibTeX格式引用：**

bibtex
[需补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建通常依赖于实际物理系统的交互记录。so101_pickplace4数据集通过LeRobot平台采集，采用so_follower型机器人执行拾放任务，以30帧每秒的速率捕获了单次任务的全过程。数据以分块形式存储于Parquet文件中，每块包含1000帧，总计758帧，涵盖了机器人关节位置、前视与顶视图像视频流以及时间戳等多模态信息，确保了数据序列的完整性与时序一致性。

特点

该数据集的特点体现在其多模态融合与结构化设计上。它集成了六维关节动作空间与对应的状态观测，同时提供前视（480x640）和顶视（720x1280）双视角RGB视频流，均以AV1编码存储。数据特征经过精心定义，包括动作、观测状态、图像、时间索引等字段，支持机器人学习任务中的端到端训练。数据集规模紧凑，仅包含一次任务执行，适合用于算法验证或小样本学习场景。

使用方法

使用该数据集时，研究人员可通过HuggingFace平台直接加载Parquet格式文件，利用其预定义的特征结构进行数据解析。数据集已划分为训练集，可直接用于机器人模仿学习或强化学习模型的训练。视频数据可通过指定路径访问，配合时间戳与帧索引，能够重建任务执行的视觉时序。用户还可借助LeRobot提供的可视化工具在线浏览数据内容，以直观理解机器人操作过程。

背景与挑战

背景概述

在机器人操作领域，模仿学习与强化学习的研究日益深入，旨在使机器人能够通过观察人类演示或自主探索来掌握复杂的物理交互技能。so101_pickplace4数据集应运而生，由HuggingFace社区的LeRobot项目团队创建，专注于拾取与放置这一经典机器人任务。该数据集记录了单次任务执行过程中机械臂的关节位置、夹爪状态以及多视角视觉观测，为训练端到端的机器人控制策略提供了宝贵的真实世界交互数据。其结构化的特征设计，如动作空间与状态空间的明确对应，体现了当前数据驱动机器人学习范式对高质量、多模态演示数据的迫切需求。

当前挑战

该数据集致力于解决机器人拾取与放置任务中的策略学习挑战，其核心在于如何从有限的演示数据中泛化出鲁棒且适应环境变化的控制策略。具体而言，挑战包括处理高维连续动作空间与复杂视觉观测之间的映射关系，以及应对真实物理环境中固有的传感器噪声和动力学不确定性。在构建过程中，数据采集面临同步多模态传感器数据、确保演示轨迹的质量与一致性，以及高效压缩与存储大规模视频流数据等技术难题。此外，数据集中仅包含单一任务的一次演示，如何从中提取足够的学习信号并避免过拟合，是后续算法研究必须克服的瓶颈。

常用场景

经典使用场景

在机器人操作领域，so101_pickplace4数据集为机器人抓取与放置任务提供了丰富的多模态数据资源。该数据集通过记录机械臂在真实环境中的运动轨迹、关节位置以及来自顶部和前方摄像头的视觉信息，为研究人员构建端到端的模仿学习模型奠定了数据基础。经典使用场景涉及训练机器人从视觉观察中直接预测动作序列，实现精准的物品抓取与放置，从而推动机器人自主操作能力的发展。

衍生相关工作

围绕该数据集，已衍生出一系列经典的机器人学习研究工作。例如，结合视觉Transformer与强化学习的混合架构被用于从多视角图像中提取特征以生成动作序列；同时，基于该数据的模仿学习框架在模拟到真实的迁移研究中发挥了关键作用。这些工作不仅拓展了数据集的利用维度，还为机器人操作任务的泛化性与鲁棒性提供了重要的算法支撑。

数据集最近研究

最新研究方向

在机器人操作领域，so101_pickplace4数据集作为LeRobot项目的一部分，正推动着基于视觉的机器人抓取与放置任务的前沿研究。该数据集融合了多视角图像流与关节状态数据，为端到端模仿学习与强化学习算法提供了丰富的训练资源。当前研究热点聚焦于利用此类多模态数据提升模型在复杂环境下的泛化能力，特别是在少样本或零样本场景中实现精准操作。随着具身智能的兴起，该数据集在促进机器人自主执行日常任务方面展现出重要价值，为家庭服务与工业自动化应用奠定了数据基础。