Aasdfip/skewer_pretrain

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "bi_so_follower",
"total_episodes": 2,
"total_frames": 5981,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:2"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"left_shoulder_pan.pos",
"left_shoulder_lift.pos",
"left_elbow_flex.pos",
"left_wrist_flex.pos",
"left_wrist_roll.pos",
"left_gripper.pos",
"right_shoulder_pan.pos",
"right_shoulder_lift.pos",
"right_elbow_flex.pos",
"right_wrist_flex.pos",
"right_wrist_roll.pos",
"right_gripper.pos"
],
"shape": [
12
]
},
"observation.state": {
"dtype": "float32",
"names": [
"left_shoulder_pan.pos",
"left_shoulder_lift.pos",
"left_elbow_flex.pos",
"left_wrist_flex.pos",
"left_wrist_roll.pos",
"left_gripper.pos",
"right_shoulder_pan.pos",
"right_shoulder_lift.pos",
"right_elbow_flex.pos",
"right_wrist_flex.pos",
"right_wrist_roll.pos",
"right_gripper.pos"
],
"shape": [
12
]
},
"observation.images.left_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right_top": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

---
许可证：Apache-2.0
任务类别：
- 机器人学
标签：
- LeRobot（LeRobot）
配置项：
- 配置名称：默认配置
数据文件路径：data/*/*.parquet
---

本数据集基于[LeRobot（LeRobot）](https://github.com/huggingface/lerobot)构建。

## 数据集说明
- **主页：** [需补充更多信息]
- **论文：** [需补充更多信息]
- **许可证：** Apache-2.0

## 数据集结构
`meta/info.json`：
json
{
"代码库版本": "v3.0",
"机器人类型": "bi_so_follower",
"总回合数": 2,
"总帧数": 5981,
"总任务数": 1,
"分块大小": 1000,
"数据文件总大小（MB）": 100,
"视频文件总大小（MB）": 200,
"帧率": 30,
"数据集划分": {
"训练集": "0:2"
},
"数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"数据特征": {
"动作": {
"数据类型": "float32",
"维度名称": [
"左肩关节旋摆.pos",
"左肩关节抬升.pos",
"左肘关节屈曲.pos",
"左腕关节屈曲.pos",
"左腕关节旋滚.pos",
"左夹爪.pos",
"右肩关节旋摆.pos",
"右肩关节抬升.pos",
"右肘关节屈曲.pos",
"右腕关节屈曲.pos",
"右腕关节旋滚.pos",
"右夹爪.pos"
],
"形状": [12]
},
"观测状态": {
"数据类型": "float32",
"维度名称": [
"左肩关节旋摆.pos",
"左肩关节抬升.pos",
"左肘关节屈曲.pos",
"左腕关节屈曲.pos",
"左腕关节旋滚.pos",
"左夹爪.pos",
"右肩关节旋摆.pos",
"右肩关节抬升.pos",
"右肘关节屈曲.pos",
"右腕关节屈曲.pos",
"右腕关节旋滚.pos",
"右夹爪.pos"
],
"形状": [12]
},
"观测图像.左腕摄像头": {
"数据类型": "video",
"形状": [480, 640, 3],
"维度名称": ["高度", "宽度", "通道数"],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"非深度图": true,
"视频帧率": 30,
"视频通道数": 3,
"无音频": true
}
},
"观测图像.右腕摄像头": {
"数据类型": "video",
"形状": [480, 640, 3],
"维度名称": ["高度", "宽度", "通道数"],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"非深度图": true,
"视频帧率": 30,
"视频通道数": 3,
"无音频": true
}
},
"观测图像.右上摄像头": {
"数据类型": "video",
"形状": [480, 640, 3],
"维度名称": ["高度", "宽度", "通道数"],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"非深度图": true,
"视频帧率": 30,
"视频通道数": 3,
"无音频": true
}
},
"时间戳": {
"数据类型": "float32",
"形状": [1],
"维度名称": null
},
"帧索引": {
"数据类型": "int64",
"形状": [1],
"维度名称": null
},
"回合索引": {
"数据类型": "int64",
"形状": [1],
"维度名称": null
},
"全局索引": {
"数据类型": "int64",
"形状": [1],
"维度名称": null
},
"任务索引": {
"数据类型": "int64",
"形状": [1],
"维度名称": null
}
}
}

## 引用
**BibTeX格式：**
bibtex
[需补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是模型预训练的关键基础。skewer_pretrain数据集依托LeRobot框架构建，通过采集双机械臂系统的真实交互数据而形成。该数据集以Parquet格式存储，包含5981帧数据，划分为两个完整的情节，并以1000帧为块进行组织，确保了数据的高效存取与处理。数据采集过程中，系统记录了机械臂各关节的位置状态、多视角视觉信息以及精确的时间戳，为机器人控制算法的学习提供了丰富的多模态输入。

使用方法

针对机器人模仿学习与预训练任务，该数据集提供了标准化的使用路径。研究者可通过LeRobot库或直接加载Parquet文件访问数据，利用数据集中定义的动作、状态观测及图像特征进行端到端策略学习。数据集已预设训练集划分，支持按情节索引或帧索引进行数据切片，便于批量加载与迭代训练。多路视频数据可与关节数据同步使用，为视觉-动作联合建模、行为克隆等算法提供完整的训练样本，推动双机械臂协同操作能力的发展。

背景与挑战

背景概述

在机器人学习领域，大规模、高质量的数据集对于推动模仿学习与强化学习算法的进步至关重要。skewer_pretrain数据集由HuggingFace的LeRobot项目创建，旨在为双臂机器人（bi_so_follower型）的预训练提供多模态交互数据。该数据集整合了机器人的关节状态、多视角视觉信息（如左右腕部及顶部摄像头视频）与动作指令，其核心研究问题聚焦于如何利用异构传感器数据提升机器人在复杂任务中的泛化与适应能力。尽管具体创建时间与主要研究人员信息尚未公开，但此类数据集通常致力于解决机器人操作任务中数据稀缺与仿真到现实迁移的挑战，对促进端到端机器人控制模型的研发具有潜在影响力。

当前挑战

skewer_pretrain数据集所针对的领域问题是机器人操作任务中的多模态感知与动作生成，其挑战在于如何有效融合高维视觉流与精确的关节状态信息，以应对真实世界环境的动态变化与不确定性。构建过程中，数据集面临数据采集与标注的复杂性，例如需同步记录多摄像头视频与机器人位姿，并确保数据的时间对齐与一致性；同时，数据规模有限（仅包含2个任务片段），可能制约模型在大范围场景下的泛化性能。此外，处理与存储大规模视频数据亦带来计算资源与效率方面的挑战。

常用场景

经典使用场景

在机器人学习领域，skewer_pretrain数据集为双臂仿人机器人提供了丰富的多模态交互数据。该数据集通过记录机器人执行任务时的关节位置、图像观测和时间序列信息，为模仿学习与强化学习算法的训练奠定了数据基础。研究人员能够利用这些结构化轨迹，构建端到端的控制策略，使机器人学习复杂的操作技能，例如物体抓取与协调运动。

解决学术问题

该数据集致力于解决机器人学中数据稀缺与泛化能力不足的核心挑战。通过提供真实世界采集的双臂机器人操作数据，它支持了跨任务策略迁移、多视角视觉表征学习以及时序动作预测等研究。这些工作显著提升了机器人在动态环境中的适应性与鲁棒性，推动了数据驱动机器人控制方法的发展。

实际应用

在实际场景中，skewer_pretrain数据集可应用于工业自动化与家庭服务机器人领域。基于其记录的双臂协调动作与视觉反馈，能够训练机器人完成装配、分拣或精细操作任务。这种数据驱动的训练方式降低了机器人编程的复杂度，为实现灵活、智能的机器人系统提供了可行路径。

数据集最近研究

最新研究方向

在机器人学习领域，多模态感知与动作生成已成为前沿探索的核心议题。skewer_pretrain数据集凭借其丰富的双腕视觉观测与精确的关节状态记录，为模仿学习与强化学习算法提供了高质量的仿真环境。当前研究聚焦于利用此类数据集训练端到端的策略网络，旨在实现机器人对复杂任务的自主理解与执行，推动家庭服务与工业自动化场景的智能化进程。该数据集的开放共享加速了跨机构协作，促进了开源机器人生态的繁荣，为通用机器人智能体的发展奠定了数据基石。