Aasdfip/tidy_pretrain

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "bi_so_follower",
"total_episodes": 2,
"total_frames": 6141,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:2"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"left_shoulder_pan.pos",
"left_shoulder_lift.pos",
"left_elbow_flex.pos",
"left_wrist_flex.pos",
"left_wrist_roll.pos",
"left_gripper.pos",
"right_shoulder_pan.pos",
"right_shoulder_lift.pos",
"right_elbow_flex.pos",
"right_wrist_flex.pos",
"right_wrist_roll.pos",
"right_gripper.pos"
],
"shape": [
12
]
},
"observation.state": {
"dtype": "float32",
"names": [
"left_shoulder_pan.pos",
"left_shoulder_lift.pos",
"left_elbow_flex.pos",
"left_wrist_flex.pos",
"left_wrist_roll.pos",
"left_gripper.pos",
"right_shoulder_pan.pos",
"right_shoulder_lift.pos",
"right_elbow_flex.pos",
"right_wrist_flex.pos",
"right_wrist_roll.pos",
"right_gripper.pos"
],
"shape": [
12
]
},
"observation.images.left_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right_top": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

---
许可证：Apache-2.0
任务类别：
- 机器人学（robotics）
标签：
- LeRobot（LeRobot）
配置项：
- 配置名称：default
数据文件：data/*/*.parquet
---

本数据集基于[LeRobot（LeRobot）](https://github.com/huggingface/lerobot)框架构建。

## 数据集说明
- **主页：** [待补充更多信息]
- **相关论文：** [待补充更多信息]
- **许可证：** Apache-2.0

## 数据集结构
[meta/info.json](meta/info.json):
json
{
"代码库版本": "v3.0",
"机器人类型": "bi_so_follower",
"总回合数": 2,
"总帧数": 6141,
"总任务数": 1,
"分块大小": 1000,
"数据文件总大小（单位：MB）": 100,
"视频文件总大小（单位：MB）": 200,
"帧率": 30,
"数据集划分": {
"训练集": "0:2"
},
"数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"数据特征": {
"动作": {
"数据类型": "float32",
"关节名称": [
"左肩关节方位轴位置",
"左肩关节抬升轴位置",
"左肘关节屈曲轴位置",
"左腕关节屈曲轴位置",
"左腕关节旋转轴位置",
"左夹爪位置",
"右肩关节方位轴位置",
"右肩关节抬升轴位置",
"右肘关节屈曲轴位置",
"右腕关节屈曲轴位置",
"右腕关节旋转轴位置",
"右夹爪位置"
],
"维度": [
12
]
},
"观测状态": {
"数据类型": "float32",
"关节名称": [
"左肩关节方位轴位置",
"左肩关节抬升轴位置",
"左肘关节屈曲轴位置",
"左腕关节屈曲轴位置",
"左腕关节旋转轴位置",
"左夹爪位置",
"右肩关节方位轴位置",
"右肩关节抬升轴位置",
"右肘关节屈曲轴位置",
"右腕关节屈曲轴位置",
"右腕关节旋转轴位置",
"右夹爪位置"
],
"维度": [
12
]
},
"观测图像.左腕摄像头": {
"数据类型": "video",
"维度": [
480,
640,
3
],
"维度名称": [
"高度",
"宽度",
"通道数"
],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"是否为深度图": false,
"视频帧率": 30,
"视频通道数": 3,
"是否包含音频": false
}
},
"观测图像.右腕摄像头": {
"数据类型": "video",
"维度": [
480,
640,
3
],
"维度名称": [
"高度",
"宽度",
"通道数"
],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"是否为深度图": false,
"视频帧率": 30,
"视频通道数": 3,
"是否包含音频": false
}
},
"观测图像.右上摄像头": {
"数据类型": "video",
"维度": [
480,
640,
3
],
"维度名称": [
"高度",
"宽度",
"通道数"
],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"是否为深度图": false,
"视频帧率": 30,
"视频通道数": 3,
"是否包含音频": false
}
},
"时间戳": {
"数据类型": "float32",
"维度": [
1
],
"维度名称": null
},
"帧索引": {
"数据类型": "int64",
"维度": [
1
],
"维度名称": null
},
"回合索引": {
"数据类型": "int64",
"维度": [
1
],
"维度名称": null
},
"全局索引": {
"数据类型": "int64",
"维度": [
1
],
"维度名称": null
},
"任务索引": {
"数据类型": "int64",
"维度": [
1
],
"维度名称": null
}
}
}

## 参考文献
**BibTeX格式：**
bibtex
[待补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人学领域，高质量的数据集对于模型预训练至关重要。tidy_pretrain数据集依托LeRobot平台构建，通过采集双手机器人（bi_so_follower）的实际操作序列，系统记录了机械臂关节位置、夹爪状态以及多视角视觉信息。数据以30帧每秒的速率采集，涵盖2个完整任务片段，总计6141帧，并以分块Parquet格式存储，确保了数据的高效访问与处理。

特点

该数据集的核心特点在于其多维度的观测与动作表示。动作空间包含左右机械臂各6个关节的位置控制指令，观测则融合了12维关节状态与三路高清视频流，分别来自左腕、右腕及顶部视角，分辨率均为640x480。这种结构化的特征设计，为模仿学习与视觉运动策略研究提供了丰富的时空上下文，支持端到端的机器人控制模型训练。

使用方法

使用tidy_pretrain数据集时，研究者可通过加载Parquet文件直接访问帧级数据，其中包含动作、观测图像、时间戳及索引信息。数据集已预设训练划分，适用于行为克隆、强化学习等任务。借助LeRobot工具链，用户可便捷地提取视频序列与状态轨迹，进行模型训练与验证，推动机器人智能在真实场景中的泛化能力提升。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的数据集对于推动模仿学习与强化学习算法的进步至关重要。tidy_pretrain数据集由HuggingFace的LeRobot项目创建，旨在为双臂仿人机器人（bi_so_follower）提供预训练所需的多模态交互数据。该数据集整合了机器人的关节状态、多视角视觉观测（如左腕、右腕及顶部摄像头视频）与精确的时间戳信息，其结构化设计支持端到端的策略学习，为解决机器人操作任务中的感知-动作映射问题提供了关键资源。尽管其具体创建时间与核心论文尚未明确公开，但依托LeRobot开源生态，该数据集有望促进机器人学习社区的协作与模型泛化能力的研究。

当前挑战

tidy_pretrain数据集致力于解决机器人操作任务中模仿学习与策略预训练的挑战，其核心问题在于如何从高维、异构的多模态数据（如关节位置与多视角视频）中学习鲁棒且可泛化的控制策略。构建过程中的挑战包括：多传感器数据的精确时间同步与对齐，以确保观测与动作的一致性；大规模视频数据的高效存储与处理，需平衡压缩质量与计算开销；以及双臂机器人复杂动作空间的标注与标准化，这对数据采集系统的可靠性与数据清洗流程提出了较高要求。此外，数据集规模相对有限，可能影响模型在多样化场景下的泛化性能。

常用场景

经典使用场景

在机器人学习领域，tidy_pretrain数据集为双臂仿人机器人的预训练提供了关键支持。该数据集通过记录机器人执行任务时的关节位置、图像观察和时间序列数据，构建了一个多模态交互环境。研究人员利用这些数据训练模型学习从视觉输入到动作输出的映射关系，从而在模拟或真实场景中实现精细的操控任务，如物体抓取和装配操作。这种基于大规模演示数据的预训练方法，显著提升了模型在复杂环境中的泛化能力和鲁棒性。

解决学术问题

tidy_pretrain数据集有效应对了机器人模仿学习中的数据稀缺与异构性挑战。它通过整合高维视觉观测与精确的动作轨迹，为研究端到端策略学习提供了标准化基准。该数据集支持探索多传感器融合、时序依赖建模以及跨任务知识迁移等核心学术问题，推动了从监督学习到强化学习的过渡研究。其结构化设计促进了算法在真实世界机器人平台上的可复现性，为学术界解决样本效率低和泛化能力不足等问题提供了实证基础。

衍生相关工作

围绕tidy_pretrain数据集，已衍生出多项经典研究工作。例如，基于其多模态特性开发的视觉-动作联合嵌入模型，显著提升了策略学习的样本效率。同时，研究者利用该数据集的时间序列结构，设计了新型递归神经网络架构以处理长程依赖关系。在迁移学习方面，该数据集促进了跨机器人平台的知识共享框架发展，使得在仿真环境中训练的模型能有效适应实体机器人。这些工作共同推动了机器人学习从孤立任务向通用智能体的演进。