gibbonbot/soarm101pen_bboxes

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=eidolon08/soarm101pen">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 1,
"total_frames": 1792,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:1"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

soarm101pen_bboxes数据集基于LeRobot框架构建，旨在为机器人操作任务提供高质量的演示轨迹。数据采集过程中，以so_follower型机械臂为硬件基础，通过遥操作或预设策略驱动，收集了单个任务场景下共计1792帧的连续运动序列。原始数据被划分为1000帧大小的数据块，以Parquet格式存储结构化信息，同时将前端摄像头捕获的视频流编码为AV1格式的MP4文件，与运动状态数据保持30帧每秒的同步节奏，形成视觉与关节空间耦合的完整数据集。

特点

该数据集的核心特点在于其精细的关节空间与视觉空间的联合表征。动作与状态空间均包含肩部旋转、肩部抬升、肘部弯曲、腕部屈伸、腕部转动及夹爪开合六个自由度，维度清晰且物理意义明确。前端图像以480×640分辨率提供三维彩色通道，清晰记录操作场景的视觉变迁。所有数据经由时间戳、帧序号及轨迹索引严格对齐，形成时序完整、结构严谨的示范集合，为模仿学习与行为克隆等算法提供了理想的本征数据基础。

使用方法

数据集可通过LeRobot生态的API便捷加载与解析。使用者可利用其内置的Dataset类直接读取Parquet数据块与对应视频文件，自动重建完整的轨迹流。训练阶段，可将六维动作向量作为监督信号，前端图像与关节状态构成观测输入，构建从感知到控制的映射模型。数据已预设训练切分，支持批量化时序采样。基于Apache-2.0开源协议，研究者可自由复现、修改与扩展，为机器人技能习得研究提供标准化素材。

背景与挑战

背景概述

soarm101pen_bboxes数据集由研究者eidolon08基于LeRobot框架创建，专注于机器人操作任务中的精细运动捕捉。该数据集采集了SO-ARM100机械臂在30帧每秒速率下进行的1792帧动作序列，包含6自由度关节状态（shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll、gripper）及640×480分辨率的前置摄像头视觉数据。其核心研究问题在于为机器人模仿学习提供高保真的动作-视觉对齐样本，通过将6维连续动作空间与同步视频帧关联，推动机器人从人类演示中习得灵巧操作能力。作为开源数据集（Apache-2.0协议），它为机器人学习领域提供了标准化benchmark，尤其适用于少样本学习场景下的策略泛化研究。

当前挑战

当前面临的挑战集中于三个层面：首先，领域问题层面，机器人精细操作涉及高维连续动作空间与动态视觉反馈的耦合，要求模型同时理解关节运动学约束和物体交互物理规律，现有数据集多缺乏对动作执行过程中意外扰动（如滑落、碰撞）的标注。其次，构建过程中，单条演示轨迹（1个episode）的规模限制了数据多样性，且机械臂末端执行器缺乏力觉传感器的状态信息，导致无法精确建模抓取力矩与接触稳定性。此外，视频采用AV1编码压缩可能引入视觉伪影，而30Hz的采样频率在高速操作场景下存在运动模糊风险，增加了时空特征对齐的难度。

常用场景

经典使用场景

soarm101pen_bboxes数据集专为机器人操控领域设计，聚焦于机械臂对笔类物体进行精准抓取与操作的任务。该数据集通过LeRobot框架采集，包含单一任务与单条完整轨迹，记录了从肩部到夹爪的六维关节空间状态与动作序列，并辅以640×480分辨率的前视摄像头视频流。其经典使用场景在于为模仿学习与强化学习提供高保真的演示数据，研究者可借助其中的状态-动作对训练策略网络，使机器人学会在真实物理环境中完成精细的执笔操作，如拾取、旋转或递送，从而验证算法在连续控制与视觉伺服任务中的有效性。

解决学术问题

该数据集直面机器人领域灵巧操作中的两大核心挑战：高维连续状态空间下的策略泛化与稀疏奖励环境中的探索效率。通过提供结构化关节角度与动作序列，它解决了研究者缺乏标准化精细操作基准的困境，使得对比不同模仿学习算法（如行为克隆、逆强化学习）的性能成为可能。此外，数据集中同步记录的高帧率视觉信息有助于探索多模态融合方法，推动从监督学习到域随机化技术的进步，其公开性加速了学术界对机器人小样本学习与鲁棒控制理论的验证进程，为理解人类示范到机器映射的底层机制提供了关键数据支撑。

衍生相关工作

该数据集催生了一系列围绕模仿学习与技能迁移的经典研究方向。其高分辨率视频与精确状态标注的组合，为视觉运动策略的设计提供了基准，衍生出如利用扩散模型生成动作序列的工作，以及基于Transformer架构的端到端操纵网络。同时，数据集中的单任务轨迹激发了少样本泛化研究，促使学者探索元学习与数据增强技术。在机器人基础模型领域，它常被用作预训练阶段的示范样本，支撑了面向通用操作的统一框架开发。这些衍生工作共同构成了从原始感知到行动执行的完整研究链条，推动机器人技能习得从特定场景向开放世界演进。