kolukulurim/so101_pick_test_tube_to_box_global_only3_v2

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 3,
"total_frames": 1089,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:3"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.camera1": {
"dtype": "video",
"shape": [
1080,
1920,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 1080,
"video.width": 1920,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，数据集的构建方式直接影响模型的泛化能力。该数据集依托LeRobot平台，通过实际机器人执行“将试管放入盒子”这一精细操作任务进行采集。数据以30帧每秒的速率记录，包含三个完整操作序列，总计1089帧，并以Parquet格式分块存储，便于高效访问与处理。采集过程中同步记录了机器人的关节位置状态、高分辨率视觉图像以及精确的时间戳，确保了数据的时间对齐与多模态一致性。

使用方法

对于研究者而言，使用该数据集可遵循其预定义的结构进行加载与分析。数据已按训练集划分，用户可通过指定的路径模板访问Parquet格式的动作、状态及元数据文件，并关联相应的MP4格式视频流。该数据集适用于训练端到端的机器人操作策略模型，特别是基于视觉的模仿学习。研究者可以关节状态和图像作为观测输入，预测对应的关节动作，进而评估模型在拾放任务上的表现。数据集的标准化格式确保了与LeRobot生态系统的兼容性，便于进行复现与对比实验。

背景与挑战

背景概述

在机器人操作领域，模仿学习作为一种高效获取复杂技能的方法，近年来受到广泛关注。该数据集由LeRobot平台构建，专注于特定任务——将试管拾取并放置于盒中，旨在为机器人操作策略的学习提供高质量的示范数据。其创建依托于开源机器人研究社区，通过记录机械臂的关节状态、视觉观察及对应动作序列，构建了结构化且可扩展的数据格式，为后续的端到端策略训练奠定了数据基础。尽管具体创建时间与核心研究人员信息尚未公开，但其遵循Apache 2.0许可开放共享，体现了当前机器人学习领域对标准化、可复现数据集的迫切需求，有望推动模仿学习与强化学习算法在真实世界操作任务中的进展。

当前挑战

该数据集旨在解决机器人操作中的模仿学习问题，其核心挑战在于如何从有限的人类示范中泛化出鲁棒且精确的抓取与放置策略。具体而言，任务涉及对试管这类易滑落、姿态敏感物体的稳定抓取，以及将其精准放入目标容器的序列规划，这对动作的连续性与环境适应性提出了较高要求。在构建过程中，数据采集面临多重挑战：确保机械臂状态与高分辨率视觉观测的精确同步、在复杂光照与背景干扰下维持图像数据的质量，以及将长时序、高维度的传感器数据高效编码为结构化格式。此外，当前数据集仅包含三个演示片段，数据规模有限，可能难以覆盖任务执行过程中的状态空间多样性，对学习算法的样本效率与泛化能力构成显著考验。

常用场景

经典使用场景

在机器人操作领域，该数据集聚焦于精细的物体操控任务，具体呈现了从试管拾取到放置至盒中的完整动作序列。其经典使用场景在于为模仿学习算法提供高质量、结构化的示范数据，通过记录机械臂关节位置、图像观测及时间戳等多模态信息，支持模型学习端到端的操作策略。数据集以高帧率视频和精确状态标注，为算法训练提供了丰富的时空上下文，助力机器人掌握复杂环境下的抓取与放置技能。

解决学术问题

该数据集主要针对机器人模仿学习中的样本效率与泛化能力等核心学术问题。通过提供真实世界采集的演示轨迹，它缓解了强化学习对大量交互数据的需求，降低了训练成本。同时，其多模态观测结构促进了状态表示学习的研究，使模型能够从视觉与关节信息中提取有效特征，解决跨场景任务迁移的挑战，推动了数据驱动机器人控制方法的理论进展与实际部署。

实际应用

在实际工业与实验室自动化场景中，该数据集可直接应用于试管处理、样本分装等流程的机器人系统开发。基于数据集训练的模型能够引导机械臂完成精准的抓取、移动与放置操作，提升生物医药、化学实验等领域的作业效率与一致性。其开源特性降低了机器人编程门槛，使得中小型研究机构也能利用现成数据快速构建自动化解决方案，促进智能机器人在精密操作任务中的普及。

数据集最近研究

最新研究方向

在机器人操作学习领域，多模态数据集正成为推动模仿学习与强化学习融合的关键资源。so101_pick_test_tube_to_box_global_only3_v2数据集以其精细的关节位置动作记录与高分辨率视觉观测，为研究端到端策略学习提供了结构化范例。当前前沿探索集中于利用此类数据训练视觉-动作映射模型，以提升机器人在非结构化环境中执行灵巧操作的泛化能力。伴随具身智能热潮，该数据集支持的小样本学习与仿真到真实迁移研究，正助力解决机器人数据稀缺难题，为家庭服务与实验室自动化等场景奠定基础。