vdongre2/so101_my_task

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=vdongre2/so101_my_task">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 3,
"total_frames": 756,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:3"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
720,
1280,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 720,
"video.width": 1280,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建往往依赖于实际物理系统的交互记录。so101_my_task数据集正是基于LeRobot开源框架生成的，该框架专为机器人学习任务设计。数据以分块形式存储于Parquet文件中，每块包含1000个数据帧，确保了高效的数据管理与读取。采集过程涉及so_follower型机器人，以30帧每秒的速率同步记录其关节状态、动作指令以及来自前置与腕部摄像头的视觉信息，从而构建了一个多模态的时序交互序列。

特点

该数据集的核心特征在于其丰富的多模态表示与精细的结构化设计。它同时囊括了机器人的六维关节空间动作指令、对应的状态观测值，以及高分辨率的双视角视觉流，其中前置摄像头分辨率为480x640，腕部摄像头则为720x1280。所有数据均以严格的时序索引进行组织，包含时间戳、帧索引、回合索引与任务索引，为研究连续决策过程中的状态-动作对应关系与视觉-运动协同提供了高度对齐且维度完整的数据基础。

使用方法

对于研究者而言，该数据集适用于机器人模仿学习、强化学习及视觉运动策略学习等任务。数据以标准化的Parquet格式提供，可通过Hugging Face平台直接加载。典型的使用流程包括：依据meta/info.json中的特征描述解析数据块，提取动作、状态及图像序列；利用提供的帧索引与回合索引重构完整的任务轨迹；进而可用于训练端到端的策略模型或进行离线策略评估。数据集附带的可视化工具便于直观审视数据内容，辅助模型调试与验证。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的研究亟需大规模、高质量的真实世界交互数据集以推动算法泛化能力的突破。so101_my_task数据集依托LeRobot开源框架构建，专注于机器人操作任务的数据收集，其核心研究问题在于如何通过多模态观测数据（如关节状态与视觉图像）来训练机器人执行复杂的序列决策任务。该数据集由HuggingFace社区贡献者创建，采用Apache 2.0许可协议，旨在为机器人控制研究提供一个结构化的基准测试平台，其包含的机械臂关节动作、前视与腕部摄像头视频等丰富特征，有望促进端到端机器人策略学习模型的发展。

当前挑战

该数据集致力于解决机器人操作任务中的策略学习挑战，即如何从高维视觉与状态观测中学习鲁棒且精确的控制策略。具体而言，挑战体现在多模态数据的对齐与融合上，例如将不同分辨率与时序的视觉流与关节状态进行有效关联以支持长期任务规划。在构建过程中，数据采集面临真实环境下的传感器噪声、机械臂运动轨迹的平滑性保证以及大规模视频数据存储与处理的工程难题，同时需确保数据集的episode与task索引结构能清晰反映任务层次，以支撑复杂的模仿学习或离线强化学习算法的训练与评估。

常用场景

经典使用场景

在机器人学习领域，so101_my_task数据集为模仿学习与强化学习算法的训练与评估提供了关键支持。该数据集通过记录机器人执行任务时的状态观测与动作序列，包括关节位置、图像感知及时间戳信息，使得研究人员能够基于真实交互数据构建策略模型。其典型应用场景涉及机器人臂的轨迹规划与操作任务，例如抓取、放置等精细动作的模拟与优化，为算法在复杂环境中的泛化能力提供了实证基础。

实际应用

在实际机器人部署中，so101_my_task数据集可用于工业自动化与辅助机器人系统的开发。基于其记录的机器人动作与视觉反馈，工程师能够训练模型执行重复性任务，如装配线操作或物流分拣，从而降低人工干预需求并提高生产效率。此外，数据集支持服务机器人的技能学习，例如在家庭或医疗环境中完成物品递送等任务，增强了机器人在动态环境中的适应性与可靠性。

衍生相关工作

围绕该数据集，学术界衍生了一系列经典研究工作，主要集中在机器人策略迁移与多任务学习领域。例如，基于LeRobot框架的扩展研究探索了从视觉输入到动作输出的直接映射方法，推动了行为克隆算法的改进。同时，结合该数据集的强化学习工作促进了离线策略优化技术的发展，为机器人终身学习与跨领域适应提供了理论依据，并在开源社区中激发了更多协作式数据收集与模型共享项目。