Aasdfip/skewer_pretrain_2

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "bi_so_follower",
"total_episodes": 2,
"total_frames": 6113,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:2"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"left_shoulder_pan.pos",
"left_shoulder_lift.pos",
"left_elbow_flex.pos",
"left_wrist_flex.pos",
"left_wrist_roll.pos",
"left_gripper.pos",
"right_shoulder_pan.pos",
"right_shoulder_lift.pos",
"right_elbow_flex.pos",
"right_wrist_flex.pos",
"right_wrist_roll.pos",
"right_gripper.pos"
],
"shape": [
12
]
},
"observation.state": {
"dtype": "float32",
"names": [
"left_shoulder_pan.pos",
"left_shoulder_lift.pos",
"left_elbow_flex.pos",
"left_wrist_flex.pos",
"left_wrist_roll.pos",
"left_gripper.pos",
"right_shoulder_pan.pos",
"right_shoulder_lift.pos",
"right_elbow_flex.pos",
"right_wrist_flex.pos",
"right_wrist_roll.pos",
"right_gripper.pos"
],
"shape": [
12
]
},
"observation.images.left_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right_top": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人学领域，skewer_pretrain_2数据集通过LeRobot框架精心构建，旨在为双臂仿人机器人提供预训练支持。该数据集采集自bi_so_follower型机器人，以30帧每秒的速率记录了两个完整任务片段，共计6113帧数据。数据以分块形式存储于Parquet文件中，每块约1000帧，并辅以对应的高清视频流，确保了时序动作与视觉观测的同步对齐。构建过程中，系统同步捕获了机器人12维关节状态、动作指令以及来自左腕、右腕和顶部视角的三路RGB图像，形成了多模态交互序列。

特点

该数据集的核心特征在于其丰富的多模态表征与精细的结构化设计。数据集中不仅包含精确的关节位置观测与动作向量，还整合了多视角视觉信息，每路视频均以480x640分辨率的三通道格式保存，采用AV1编码压缩。特征字段明确区分了状态、动作与图像流，并附带时间戳、帧索引及任务标识等元数据，支持端到端的序列建模。数据集规模适中，总计约300MB的存储占用，便于高效加载与处理，为模仿学习与强化学习算法提供了高质量的仿真环境输入。

使用方法

使用skewer_pretrain_2数据集时，研究人员可依托其标准化的数据组织方式便捷地进行模型训练与验证。数据文件按分块索引存放，用户可通过解析meta/info.json中的路径模板动态加载相应片段。该数据集适用于机器人行为克隆、视觉运动策略学习等任务，能够直接输入至神经网络处理多模态信号。由于所有特征均以浮点或整型张量形式存储，并配有清晰的形状描述，使用者可轻松将其集成至PyTorch或TensorFlow等主流框架，实现从原始观测到控制指令的端到端映射。

背景与挑战

背景概述

skewer_pretrain_2数据集是机器人学习领域的一项新兴资源，由HuggingFace的LeRobot项目创建，旨在支持机器人控制与感知的预训练研究。该数据集聚焦于双臂机器人（bi_so_follower）的操作任务，通过记录关节位置、图像观测及时间序列数据，为模仿学习与强化学习算法提供多模态交互轨迹。其构建体现了当前机器人学向数据驱动范式转型的趋势，通过开源共享促进社区在真实世界机器人技能泛化方面的探索。

当前挑战

该数据集致力于解决机器人操作任务中多模态感知与动作生成的协同挑战，例如从视觉输入推断精确的关节控制策略。在构建过程中，面临数据采集的复杂性，包括双臂机器人同步控制、高维传感器数据（如多视角视频）的实时处理与存储，以及确保轨迹数据在时间上的一致性。此外，数据集规模有限，仅包含2个任务和6113帧数据，可能制约模型在大规模预训练中的泛化能力。

常用场景

经典使用场景

在机器人学习领域，skewer_pretrain_2数据集为双臂仿人机器人的预训练提供了关键支持。该数据集通过记录机器人执行任务时的关节位置、视觉观察和时间序列数据，构建了多模态交互环境。研究者利用这些数据训练强化学习或模仿学习模型，使机器人能够学习复杂的双臂协调操作，例如物体抓取、装配或精细操控任务。数据集的结构化特征和视频流信息为模型提供了丰富的状态表示，促进了端到端策略的学习与泛化。

衍生相关工作

围绕该数据集，衍生出多项经典研究工作，主要集中在机器人策略学习与多模态表示领域。例如，研究者利用其开发了基于Transformer的序列模型，以处理关节动作与视觉观察的长期依赖关系。同时，该数据支持了对比学习与自监督方法的探索，用于提取跨视角视觉特征。此外，一些工作将其作为基准数据集，评估不同模仿学习算法在双臂操控任务上的性能，推动了机器人学习社区的算法创新与标准化进程。

数据集最近研究

最新研究方向

在机器人学习领域，多模态数据融合正成为推动智能体泛化能力提升的关键路径。skewer_pretrain_2数据集以其丰富的双腕视觉观测与精确的关节状态记录，为模仿学习与强化学习算法提供了高质量的仿真环境。当前研究热点聚焦于如何高效整合来自不同视角的图像流与连续动作序列，以训练出能够适应动态场景的通用策略模型。该数据集的发布顺应了开源机器人社区对标准化基准的迫切需求，有望加速家庭服务与工业自动化中复杂操作任务的算法突破，为具身智能的实践落地注入新的活力。