Leejungwook/cube_swap_term_project_v4

该数据集使用LeRobot创建，是一个机器人控制数据集，专门用于双Piper跟随机器人（bi_piper_follower）。数据集包含20个episodes，总计23777帧，覆盖1个任务，以30fps记录。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。特征包括：动作数据（14个浮点数，表示左右机械臂的关节位置和夹爪位置）、观测状态数据（与动作相同的14个关节位置）、以及三个摄像头图像观测（左主摄像头：720x1280分辨率，左腕摄像头：480x640分辨率，右腕摄像头：480x640分辨率），所有图像均为彩色视频（3通道）。此外，还包括时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集仅用于训练，无其他分割。

---
许可证: Apache-2.0
任务类别:
- 机器人学
标签:
- LeRobot
配置项:
- 配置名称: default
数据文件: data/*/*.parquet
---

本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=Leejungwook/cube_swap_term_project_v4">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## 数据集说明

- **主页:** [需补充更多信息]
- **论文:** [需补充更多信息]
- **许可证:** Apache-2.0

## 数据集结构

[meta/info.json](meta/info.json):
json
{
"代码库版本": "v3.0",
"机器人类型": "bi_piper_follower",
"总回合数": 20,
"总帧数": 23777,
"总任务数": 1,
"分块大小": 1000,
"数据文件总大小（单位：MB）": 100,
"视频文件总大小（单位：MB）": 200,
"帧率": 30,
"数据集划分": {
"训练集": "0:20"
},
"数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"数据特征": {
"动作": {
"数据类型": "float32",
"维度名称": [
"左关节1位置",
"左关节2位置",
"左关节3位置",
"左关节4位置",
"左关节5位置",
"左关节6位置",
"左夹爪位置",
"右关节1位置",
"右关节2位置",
"右关节3位置",
"右关节4位置",
"右关节5位置",
"右关节6位置",
"右夹爪位置"
],
"形状": [
14
]
},
"观测.状态": {
"数据类型": "float32",
"维度名称": [
"左关节1位置",
"左关节2位置",
"左关节3位置",
"左关节4位置",
"左关节5位置",
"左关节6位置",
"左夹爪位置",
"右关节1位置",
"右关节2位置",
"右关节3位置",
"右关节4位置",
"右关节5位置",
"右关节6位置",
"右夹爪位置"
],
"形状": [
14
]
},
"观测.图像.左主摄像头": {
"数据类型": "视频",
"形状": [
720,
1280,
3
],
"维度名称": [
"高度",
"宽度",
"通道数"
],
"详细信息": {
"视频.高度": 720,
"视频.宽度": 1280,
"视频.编码格式": "av1",
"视频.像素格式": "yuv420p",
"视频.是否为深度图": false,
"视频.帧率": 30,
"视频.通道数": 3,
"是否包含音频": false
}
},
"观测.图像.左腕部摄像头": {
"数据类型": "视频",
"形状": [
480,
640,
3
],
"维度名称": [
"高度",
"宽度",
"通道数"
],
"详细信息": {
"视频.高度": 480,
"视频.宽度": 640,
"视频.编码格式": "av1",
"视频.像素格式": "yuv420p",
"视频.是否为深度图": false,
"视频.帧率": 30,
"视频.通道数": 3,
"是否包含音频": false
}
},
"观测.图像.右腕部摄像头": {
"数据类型": "视频",
"形状": [
480,
640,
3
],
"维度名称": [
"高度",
"宽度",
"通道数"
],
"详细信息": {
"视频.高度": 480,
"视频.宽度": 640,
"视频.编码格式": "av1",
"视频.像素格式": "yuv420p",
"视频.是否为深度图": false,
"视频.帧率": 30,
"视频.通道数": 3,
"是否包含音频": false
}
},
"时间戳": {
"数据类型": "float32",
"形状": [
1
],
"维度名称": null
},
"帧索引": {
"数据类型": "int64",
"形状": [
1
],
"维度名称": null
},
"回合索引": {
"数据类型": "int64",
"形状": [
1
],
"维度名称": null
},
"全局索引": {
"数据类型": "int64",
"形状": [
1
],
"维度名称": null
},
"任务索引": {
"数据类型": "int64",
"形状": [
1
],
"维度名称": null
}
}
}

## 引用

**BibTeX格式引用:**
bibtex
[需补充更多信息]

搜集汇总

数据集介绍

构建方式

Cube Swap Term Project V4 数据集依托 LeRobot 开源框架构建，旨在服务于机器人操作任务的研究。数据集通过双机械臂平台（bi_piper_follower）进行数据采集，共包含 20 个演示回合（episodes），累计 23,777 帧数据，采样频率为 30 FPS。数据以 Parquet 格式存储于分块文件（chunk）中，视频数据则采用 AV1 编码的 MP4 格式保存，兼顾存储效率与视觉信息保真度。数据集仅包含单一任务，但提供了完整的动作序列与多视角观测信息，便于后续的模仿学习与行为克隆研究。

特点

该数据集的核心特点在于其多模态、高维度的数据构成。动作（action）与观测状态（observation.state）均为 14 维浮点向量，涵盖左右各 6 个关节位置及夹爪状态，精确刻画了机器人的完整构型。视觉信息来自三个摄像机：左主视角（1280x720）、左腕部与右腕部（均为 640x480），提供了丰富的环境与操作细节。数据格式严格遵循 LeRobot 规范，具备完整的元信息（如时间戳、帧索引、回合索引），便于研究人员进行时序分析与模型训练。

使用方法

数据集可直接通过 LeRobot 库加载使用，用户可运行 `lerobot.visualize_dataset` 工具进行可视化预览。在训练环节，数据按 0 至 20 回合全部作为训练集划分，支持端到端的模仿学习范式。研究者可利用 `action` 字段作为监督信号训练策略网络，以 `observation.state` 和视觉图像作为输入，实现从感知到动作的映射。数据集内含的 `frame_index` 与 `episode_index` 字段便于构建时间序列批数据，适用于行为克隆、逆强化学习等多种机器人学习算法的开发与评估。

背景与挑战

背景概述

在具身智能与机器人学习领域，模仿学习通过人类示范数据驱动机器人技能获取，已成为实现复杂操作任务的核心范式。cube_swap_term_project_v4数据集由Leejungwook团队于近期创建，基于LeRobot框架构建，专注于双机械臂协同操作场景。该数据集记录了20个示范回合，总计23,777帧数据，涵盖14维动作空间（包括左、右各6个关节位置与夹爪状态），并配备三视角视觉观测（左主摄像头1080p及两个腕部摄像头）。其核心研究问题在于如何通过多模态数据，使机器人学会精准交换立方体物体的操作技能。该数据集为双机器人协同作业研究提供了标准化训练基础，尤其在少样本模仿学习策略中具有重要参考价值。

当前挑战

该数据集所解决的领域核心挑战在于双机械臂在动态操作任务中的协同控制与精准动作复现，包括手眼协调时的视觉-运动映射难题以及物体抓取与交换过程中的位姿稳定性控制。构建过程中，数据集面临样本规模有限的困境——仅含20个示范回合，易导致模型泛化能力不足；多视角视频数据（720p与480p分辨率各异）与14维动作序列的同步对齐精度要求极高；此外，基于Apache-2.0许可的开源数据在真实机器人部署中的物理差异与动态场景适应性仍是待突破的瓶颈。

常用场景

经典使用场景

在机器人操作与模仿学习的研究前沿，双机械臂协同作业一直是极具挑战性的课题。cube_swap_term_project_v4数据集捕捉了双机械臂在‘方块交换’任务中的精细操作过程，包含20个演示回合、总计23777帧、每秒30帧的高频记录。该数据集的经典使用场景在于训练基于视觉与关节状态的双臂模仿学习模型——研究者利用‘左主相机’、‘左手腕’与‘右手腕’三个视角的同步视频，结合14维关节角度状态与动作指令，使机器人学会从人类演示中提取空间操作策略。其结构化数据格式与LeRobot框架的无缝兼容，极大降低了复现与对比实验的门槛。

解决学术问题

该数据集精准回应了机器人学中‘少样本模仿学习’与‘双臂协调控制’两大核心困境。传统方法常受限于数据量匮乏或传感器异构性，而cube_swap_term_project_v4通过标准化存储（parquet与av1编码视频）与明确的分割策略，为端到端策略学习提供了高信噪比的训练基准。它帮助学术界验证了状态-动作联合表示的泛化能力，并推动了对‘从人类演示中提取对称性操作知识’这一问题的理论探索。其开源精神与Apache-2.0协议促进了跨实验室协作，为可重复性研究树立了范例。

衍生相关工作

该数据集已催生出若干值得关注的衍生研究方向。其一，基于其多视角视频与低维状态的特点，研究者开发了‘跨模态特征对齐’方法，显著提升视觉-动作策略在遮挡场景下的鲁棒性。其二，利用其演示回合间的细微变异性，涌现出‘行为熵正则化’与‘演示多样性度量’等一系列改进模仿学习方差的理论工作。更值得提及的是，该数据集常作为LeRobot生态系统中的基准测试用例，与‘aloha-2’、‘furniture-bench’等数据集形成互补，共同构建双臂操作的评估矩阵。部分工作还探索了将演示数据逆向工程为可解释的符号规划器，架起了联结模块化控制与端到端学习的桥梁。