kolukulurim/so101_pick_test_tube_to_box_global

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 10,
"total_frames": 4004,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:10"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.camera1": {
"dtype": "video",
"shape": [
1080,
1920,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 1080,
"video.width": 1920,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，旨在记录机器人抓取与放置操作的精细动作序列。数据采集过程通过so_follower机器人执行将试管放入盒子的全局任务，共收录10个完整回合（episodes），总计4004帧时序数据，采样频率为30帧/秒。每帧数据以Parquet格式存储，涵盖6维动作指令（肩关节、肘关节、腕关节及夹爪位置）与对应的观测状态，同时包含来自1920×1080分辨率摄像头的AV1编码视频流。数据按1000帧分块组织，训练集分配全部10个回合，便于模型学习完整的操作轨迹。

特点

该数据集的核心特色在于其多模态对齐与高保真记录能力。动作与状态空间均采用6维浮点数描述，精确反映机器人关节运动细节。视觉观测以30帧/秒的1080p高清视频呈现，结合时间戳与帧索引，实现动作序列与视觉场景的精准同步。数据集虽仅含单一任务（试管入盒），但10个回合的多样性覆盖了不同起始姿态与操作路径，为模仿学习提供丰富的轨迹样本。此外，Apache-2.0许可协议降低了使用门槛，便于学术研究与工业应用。

使用方法

数据集可通过LeRobot库直接加载，支持Python环境下的高效解析。用户利用`from lerobot import load_dataset`接口即可导入Parquet格式的动作、状态数据及关联视频文件。默认配置将全部10个回合划分为训练集，适用于行为克隆、逆强化学习等机器人模仿学习范式。使用时可调用`dataset['train']`访问时序序列，通过`action`与`observation.state`字段提取运动指令，结合`observation.images.camera1`获取视觉输入，构建端到端策略模型。数据集轻量级设计（数据100MB、视频200MB）便于快速迭代实验。

背景与挑战

背景概述

该数据集由LeRobot社区创建，基于so_follower机器人平台，于近年发布，旨在为机器人操作任务提供精细化的训练数据。核心研究问题聚焦于如何通过模仿学习实现机械臂的精准抓取与放置操作，特别是从桌面拾取试管并将其放入指定盒子的全局运动规划。数据集虽规模较小（10个片段，4004帧），但包含了高分辨率视觉观测（1920x1080，30fps）和6自由度关节状态与动作数据，为研究机器人运动学与视觉反馈的融合提供了标准化基准。其影响力体现在为开源机器人学习社区提供了可复现的测试床，尤其适用于验证小样本模仿学习算法的有效性。

当前挑战

该数据集所解决的领域问题在于机器人操作任务中的运动规划与执行一致性挑战，尤其是全局路径规划下从抓取到放置的连续动作协调，以及视觉反馈与关节控制之间的时序同步。构建过程中面临的主要挑战包括：1）高精度动作标注的获取，需依赖遥操作或动觉示教记录6自由度关节轨迹，确保动作与状态的一致性和可重复性；2）视觉数据的高效存储与压缩，因使用1080p分辨率视频导致单帧数据量大，需采用AV1编码在保持质量的同时控制存储开销；3）小样本场景下的数据多样性不足，10个片段难以覆盖物体姿态和光照变化，可能限制模型泛化能力。

常用场景

经典使用场景

在机器人操作领域，so101_pick_test_tube_to_box_global数据集专为训练机械臂执行“抓取试管并放入盒子”这一精细操作任务而设计。该数据集包含10个完整演示轨迹，共计4004帧高保真观测数据，涵盖6自由度关节状态与1920×1080分辨率的第一人称视觉图像。其经典使用场景集中于基于模仿学习的行为克隆算法开发，研究者可借助该数据集训练策略网络，使机器人从人类示范中学习抓取与放置的连续动作映射。该数据集采用LeRobot标准格式，便于与扩散策略、动作分块等先进框架无缝集成，成为验证机器人灵巧操作学习算法的基准资源。

实际应用

在实际应用中，该数据集支撑的模型可直接部署于实验室自动化场景，例如协助生物或化学实验员完成试管分拣、移液等重复性操作。通过迁移学习，基于该数据集训练的抓取策略可适配不同尺寸的试管与容器布局，提升科研机构的实验效率与标准化水平。此外，该数据集也服务于工业场景中的零件装配任务，机械臂可学习从杂乱料箱中抓取特定工件并精确放置到夹具中。在医疗领域，其衍生模型可辅助进行药瓶的自动抓取与归位，减少人工接触污染风险，展现出从研究到产业落地的转化潜力。

衍生相关工作

该数据集衍生的经典工作包括基于“扩散策略”的精细操作生成模型，研究者利用其轨迹数据训练条件去噪网络，实现试管抓取动作的高质量生成。另一项代表性工作是“动作分块变换器”，该工作通过分割长序列并引入因果掩码，有效提升了多步操作任务的预测精度。此外，该数据集催生了针对“观察-动作一致性”的正则化方法，通过在潜在空间中约束状态与动作的联合分布，缓解了模仿学习中的复合误差累积问题。这些工作不仅深化了对机器人操作中时序依赖与多模态融合的理解，还推动了LeRobot生态中标准化数据管道与策略评估协议的发展。