nc8304/so101_combined_cubeONLY

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=nc8304/so101_combined_cubeONLY">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 80,
"total_frames": 61004,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:80"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于训练智能体执行复杂任务至关重要。so101_combined_cubeONLY数据集通过LeRobot平台构建，专门针对So Follower型机器人设计。该数据集包含80个完整的情节，总计61004帧数据，以30帧每秒的速率采集。数据以分块形式存储，每块包含1000帧，并以Parquet格式组织，确保了高效的数据读取与处理。构建过程中，机器人执行单一任务，其关节位置与前端视觉信息被同步记录，形成了多模态的时序数据流。

特点

该数据集的核心特点在于其结构化的多模态表示。特征层面涵盖了六维关节动作空间与对应的状态观测，两者均以浮点型数据精确描述机械臂的位姿。视觉观测提供了480x640分辨率的三通道前端图像序列，编码为AV1格式视频，兼顾了存储效率与视觉保真度。数据集中还嵌入了丰富的时间与索引信息，如时间戳、帧索引与情节索引，支持精细的时序分析与任务划分。这种统一的数据架构为机器人模仿学习与策略优化提供了坚实的基础。

使用方法

研究人员可利用该数据集进行机器人行为克隆、强化学习或视觉运动策略的训练。数据以标准化的Parquet文件提供，可通过LeRobot或兼容的数据加载工具直接读取。每个数据块包含动作、观测状态、图像及元数据，用户可根据需要提取特定情节或时间段的样本进行模型训练。此外，数据集附带可视化工具，支持在线预览视频序列与数据分布，便于直观理解机器人操作过程。通过利用其结构化的特征字段，开发者能够高效构建端到端的机器人控制模型。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的发展亟需高质量、结构化的真实世界交互数据。so101_combined_cubeONLY数据集应运而生，由Hugging Face的LeRobot项目团队创建，专注于解决机器人操作任务中的视觉-动作映射问题。该数据集采集自so_follower型机器人，包含80个完整交互片段，共计超过6万帧数据，融合了关节位置状态、前视摄像头图像及精确时间戳，旨在为机器人策略学习提供多模态、时序连贯的示范数据。其构建依托开源框架LeRobot，体现了社区驱动下机器人数据标准化与共享的新趋势，为推进端到端机器人控制算法的实证研究奠定了关键基础。

当前挑战

该数据集致力于应对机器人操作任务中从视觉感知到连续动作生成的复杂挑战，其核心在于学习高维图像输入与多自由度机械臂精确控制之间的非线性映射关系。在构建过程中，面临多重技术难题：真实机器人数据采集需确保时序同步性与传感器校准精度，避免状态与动作间的漂移；大规模视频数据的存储与高效读取要求设计紧凑的编码格式与分块索引机制；此外，单一任务（如方块操作）的数据多样性有限，可能制约模型在未见场景下的泛化能力。这些挑战共同指向机器人学习数据集的可靠性、可扩展性与任务普适性等关键问题。

常用场景

经典使用场景

在机器人操作领域，so101_combined_cubeONLY数据集为模仿学习与强化学习算法提供了关键训练资源。该数据集记录了机械臂执行单一任务（如立方体操作）时的关节位置、图像观测及时间序列数据，使得研究人员能够基于真实世界交互数据训练端到端策略。经典使用场景包括利用其多模态观测（状态与视觉）来开发能够泛化至新环境的机器人控制模型，尤其在涉及精确抓取与放置的桌面操作任务中展现出重要价值。

实际应用

在实际工业与实验室环境中，so101_combined_cubeONLY数据集可用于优化自动化装配线中的抓取系统，或辅助服务机器人完成物体整理任务。基于该数据集训练的模型能够降低对精确预编程的依赖，使机器人适应物体姿态变化与轻微环境干扰，从而提升柔性制造与物流分拣等场景的操作效率与可靠性。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，包括基于LeRobot框架的视觉运动策略学习、多任务模仿学习架构的改进，以及跨模态表示学习的创新。这些工作进一步推动了机器人数据集的标准化与开源生态建设，为后续如Sim2Real迁移、分层强化学习等方向提供了可复现的基准与实验基础。