kolukulurim/so101_pick_test_tube_to_box_global_only4

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 58,
"total_frames": 16452,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:58"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.camera1": {
"dtype": "video",
"shape": [
1080,
1920,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 1080,
"video.width": 1920,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建往往依赖于真实世界的物理交互记录。so101_pick_test_tube_to_box_global_only4数据集便是通过LeRobot平台，在真实机器人环境中采集而成。该数据集记录了机械臂执行拾取试管并放入盒中的完整操作过程，共包含58个独立任务片段，总计16452帧数据。数据以分块形式存储于Parquet文件中，并辅以对应的高清视频，确保了动作序列与视觉观测的同步对齐，为模仿学习提供了高质量的原始轨迹。

特点

该数据集的核心特点在于其多模态与高精度的数据结构。它同时提供了六维关节空间的动作指令、对应的关节状态观测以及来自相机的高分辨率RGB图像流。动作与状态空间均精确到浮点精度，涵盖了机械臂肩部、肘部、腕部及夹爪的全部自由度。视觉数据以1080p分辨率、30帧率的标准录制，确保了动态细节的清晰捕捉。数据集结构设计严谨，通过时间戳、帧索引与任务索引实现了数据的精确时序对齐与快速检索，极大便利了后续的算法训练与分析。

使用方法

对于机器人模仿学习或强化学习的研究者而言，该数据集可直接用于训练端到端的策略模型。用户可通过加载指定的Parquet数据块，获取按时间顺序排列的动作-观测对序列。模型可以关节状态或原始图像作为输入，预测下一时刻的关节动作。数据集已预设为完整的训练集，研究者可将其直接用于行为克隆等算法的训练，或进一步划分以进行验证。结合附带的视频文件，还能进行直观的轨迹可视化与定性分析，辅助模型调试与性能评估。

背景与挑战

背景概述

在机器人操作学习领域，模仿学习与强化学习等数据驱动方法正逐步成为实现复杂任务自主执行的关键途径。so101_pick_test_tube_to_box_global_only4数据集应运而生，它依托于LeRobot开源框架构建，专注于机械臂执行“拾取试管并放入盒子”这一精细操作任务。该数据集由HuggingFace社区贡献者于近期发布，旨在为机器人动作策略的离线训练与评估提供高质量、多模态的真实世界交互数据。其核心研究问题在于如何从有限的演示样本中泛化出鲁棒且精确的操作策略，以应对真实环境中物体姿态、光照及物理交互的不确定性。该数据集的建立为机器人灵巧操作研究提供了宝贵的实证基础，有望推动模仿学习算法在现实场景中的实用化进程。

当前挑战

该数据集致力于解决机器人灵巧操作中的策略泛化挑战，即如何让机械臂在仅接受有限任务演示后，能够稳定完成从杂乱场景中识别、抓取特定形状物体（如试管）并精准放置至目标容器的复杂序列动作。这一领域问题的核心难点在于动作的毫米级精度要求、工具与物体的接触力学建模，以及从高维视觉观测到连续关节动作的映射学习。在构建过程中，挑战同样显著：数据采集需协调多自由度机械臂的精确控制与高帧率视觉同步，确保动作轨迹与视觉观测的时间对齐；原始数据量庞大，包含数万帧的高清视频与关节状态，对存储、预处理与高效存取提出了工程要求；此外，演示数据仅覆盖单一任务且样本规模有限，如何从中提取可迁移的表示以支持策略泛化，是数据集应用面临的内在局限。

常用场景

经典使用场景

在机器人操作领域，so101_pick_test_tube_to_box_global_only4数据集为机械臂抓取与放置任务提供了宝贵的示范数据。该数据集通过记录六自由度机械臂执行拾取试管并放入盒子的完整动作序列，包括关节位置、图像观测及时间戳信息，为模仿学习与强化学习算法的训练奠定了数据基础。其高分辨率的视觉输入与精确的动作标注，使得研究者能够构建端到端的控制策略，模拟真实环境中的精细操作过程。

衍生相关工作

基于该数据集衍生的经典工作主要集中在机器人模仿学习与策略迁移方面。研究者利用其多模态数据训练深度神经网络，实现了从视觉输入到关节动作的映射，并进一步探索了跨任务泛化与领域适应方法。相关成果已发表在机器人顶级会议中，推动了LeRobot等开源框架的生态发展，为社区提供了可复现的基准测试环境，促进了数据驱动机器人学习的算法创新与工程实践。

数据集最近研究

最新研究方向

在机器人操作学习领域，该数据集聚焦于从试管到箱体的精准拾放任务，其前沿研究正紧密围绕视觉-动作联合建模展开。通过整合高分辨率视觉观测与多自由度关节动作数据，研究者致力于开发能够理解复杂场景并执行精细操作的端到端策略。当前热点探索方向包括利用大规模离线强化学习框架，从有限演示中泛化出鲁棒的抓取与放置行为，以应对真实世界中的姿态变化与遮挡挑战。这类研究对于推动服务机器人、自动化实验室等场景的自主化进程具有深远意义，为数据驱动的机器人技能学习提供了宝贵的实证基础。