edgarcancinoe/soarm101_pickplace_multicolor_v1

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=edgarcancinoe/soarm101_pickplace_multicolor_v1">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so100_follower",
"total_episodes": 30,
"total_frames": 27724,
"total_tasks": 2,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:30"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"shape": [
10
],
"names": [
"x",
"y",
"z",
"rot6d_0",
"rot6d_1",
"rot6d_2",
"rot6d_3",
"rot6d_4",
"rot6d_5",
"gripper"
]
},
"observation.state": {
"dtype": "float32",
"shape": [
10
],
"names": [
"x",
"y",
"z",
"rot6d_0",
"rot6d_1",
"rot6d_2",
"rot6d_3",
"rot6d_4",
"rot6d_5",
"gripper"
]
},
"observation.images.main": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.secondary": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"observation.joint_positions": {
"dtype": "float32",
"shape": [
6
],
"names": [
"shoulder_pan",
"shoulder_lift",
"elbow_flex",
"wrist_flex",
"wrist_roll",
"gripper"
]
},
"action_joints": {
"dtype": "float32",
"shape": [
6
],
"names": [
"shoulder_pan",
"shoulder_lift",
"elbow_flex",
"wrist_flex",
"wrist_roll",
"gripper"
]
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建往往依赖于真实的物理交互过程。soarm101_pickplace_multicolor_v1数据集通过LeRobot平台，利用so100_follower型机器人执行拾取放置任务，系统采集了30个完整交互片段，共计27724帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，同时配有同步录制的双视角视频，帧率为30fps，视频编码采用AV1格式，确保了数据的高效存储与高质量视觉记录。

特点

该数据集在机器人学习领域展现出多维度的特征优势。其动作空间涵盖10维连续控制，包括末端执行器的三维位置、六维旋转表示及夹爪状态，而观测空间则融合了关节位置、双摄像头视觉信息及机器人状态向量。数据结构层次分明，通过帧索引、片段索引等元数据实现精准时序对齐，支持复杂任务如多颜色物体操作的模仿学习与强化学习研究。

使用方法

研究者可借助HuggingFace平台提供的可视化工具直观探索数据集内容。在实际应用中，数据以流式分块加载，适合大规模训练流程；Parquet格式便于高效读取，而视频文件则独立存储以供视觉模型预处理。该数据集专为训练端到端机器人策略设计，能够支持从原始图像到关节动作的映射学习，适用于仿真验证与真实世界迁移研究。

背景与挑战

背景概述

在机器人操作领域，模仿学习与强化学习的研究依赖于高质量、多模态的数据集以训练智能体执行复杂任务。soarm101_pickplace_multicolor_v1数据集应运而生，由LeRobot社区基于开源机器人平台构建，专注于多颜色物体的拾放操作任务。该数据集采集自so100_follower型机器人，包含30个完整交互序列，共计超过两万七千帧数据，融合了关节位置、末端执行器动作及双视角视觉观测信息。其核心研究问题在于解决机器人对多样化物体进行精确抓取与放置的泛化能力，为机器人操作策略的学习提供了丰富的多模态交互轨迹，推动了数据驱动型机器人控制方法的发展。

当前挑战

该数据集旨在应对机器人拾放操作中因物体颜色、形状及环境光照变化带来的感知与决策挑战，要求模型从视觉与状态数据中学习鲁棒的特征表示以实现精确抓取。在构建过程中，面临多传感器数据同步与校准的复杂性，需确保关节编码器、末端位姿与双摄像头视频流在时间上严格对齐。此外，大规模交互数据的采集涉及真实机器人硬件控制，存在机械磨损与轨迹安全约束，同时数据标注与存储需高效处理高维连续动作空间与图像序列，以保障数据质量与一致性。

常用场景

经典使用场景

在机器人操作领域，soarm101_pickplace_multicolor_v1数据集为视觉伺服与抓取放置任务提供了丰富的多模态数据资源。该数据集通过记录机械臂在多样化场景下的操作轨迹与视觉反馈，成为训练端到端机器人策略模型的经典基准。研究者可借助其包含的双视角视频流、关节位置及末端执行器动作信息，构建从感知到控制的映射模型，尤其适用于模拟真实环境中的物体抓取与放置任务，推动了机器人自主操作能力的发展。

衍生相关工作

围绕该数据集，学术界衍生出一系列专注于机器人模仿学习与视觉运动控制的经典研究。例如，基于其多模态特征的工作探索了时空注意力机制在动作预测中的应用，或利用其序列数据开发分层强化学习框架以处理长期任务。这些研究不仅扩展了数据集的利用维度，还催生了新的算法范式，如结合Transformer架构的机器人策略网络，进一步推动了数据驱动机器人技术的创新与发展。

数据集最近研究

最新研究方向

在机器人操作领域，多模态学习正成为推动智能体与环境交互能力提升的关键路径。soarm101_pickplace_multicolor_v1数据集以其丰富的视觉与动作数据，为研究视觉-动作联合建模提供了重要支撑。当前前沿探索聚焦于利用该数据集训练端到端的模仿学习模型，旨在通过双视角图像输入与高维动作空间的映射，增强机器人在多颜色物体分拣任务中的泛化性能。这一方向与开源机器人平台LeRobot的生态发展紧密相连，促进了社区在真实世界操作任务上的数据驱动方法创新，对实现灵活、自适应的工业自动化具有深远意义。