avyuktsachdeva/pick_place_side_no_crop

该数据集是使用LeRobot创建的机器人学习数据集，专为机器人任务设计。数据集包含100个episodes，总计46782帧，涉及1个任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为15fps。特征包括观察图像（来自cam0，形状为3x240x320）、观察状态（3维浮点向量）、动作（4维浮点向量）、时间戳、帧索引、episode索引、索引和任务索引。数据集使用Apache 2.0许可证，并支持训练分割（0:100）。

license: Apache-2.0
task_categories:
- 机器人学
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

本数据集基于 [LeRobot](https://github.com/huggingface/lerobot) 构建。

## 数据集说明

- **主页：** [需补充更多信息]
- **论文：** [需补充更多信息]
- **许可证：** Apache-2.0

## 数据集结构

[meta/info.json]:
json
{
"代码库版本": "v3.0",
"机器人类型": "unity",
"总轨迹数": 100,
"总帧数": 46782,
"总任务数": 1,
"分块大小": 1000,
"数据文件总大小（MB）": 100,
"视频文件总大小（MB）": 200,
"帧率": 15,
"数据集划分": {
"训练集": "0:100"
},
"数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"数据特征": {
"观测图像.cam0": {
"数据类型": "图像",
"形状": [
3,
240,
320
],
"维度名称": [
"C",
"H",
"W"
]
},
"观测状态": {
"数据类型": "float32",
"形状": [
3
],
"维度名称": [
"D_state"
]
},
"动作": {
"数据类型": "float32",
"形状": [
4
],
"维度名称": [
"D_act"
]
},
"时间戳": {
"数据类型": "float32",
"形状": [
1
],
"维度名称": null
},
"帧索引": {
"数据类型": "int64",
"形状": [
1
],
"维度名称": null
},
"轨迹索引": {
"数据类型": "int64",
"形状": [
1
],
"维度名称": null
},
"全局索引": {
"数据类型": "int64",
"形状": [
1
],
"维度名称": null
},
"任务索引": {
"数据类型": "int64",
"形状": [
1
],
"维度名称": null
}
}
}

## 引用

**BibTeX格式：**
bibtex
[需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集名为pick_place_side_no_crop，面向机器人操控任务，基于LeRobot框架构建。数据集包含100个独立片段（episode），共计46782帧图像，所有数据均源自Unity仿真环境。数据以Parquet格式存储，采用分块机制（每块1000帧），视频以MP4格式独立保存。每个片段包含多模态观测数据，包括分辨率为3×240×320的相机图像、维度为3的机器人状态向量，以及维度为4的动作指令，同时附有时间戳、帧索引和任务索引等元信息。数据集未进行划分，全部100个片段均用于训练，体现了其在仿真环境中高效采集与标准化存储的特点。

特点

该数据集的核心特点在于其专注于单一任务“拾取放置侧面”且未经过裁剪处理，保留了原始图像的完整上下文，适合研究空间感知与抓取策略。数据集包含丰富的多模态信息：高清视觉观测、低维状态表示和连续动作空间，其中状态与动作维度分别为3和4，反映了仿真环境下简化的动力学模型。此外，数据集以15帧/秒的采样频率录制，总存储容量约300MB（数据与视频各100MB和200MB），规模适中，便于快速迭代与实验。其格式完全兼容LeRobot生态，为机器人模仿学习与行为克隆研究提供了标准化的训练素材。

使用方法

使用该数据集时，用户需借助LeRobot库加载Parquet与视频文件。首先通过lerobot.datasets模块指定数据集路径，调用相关函数读取meta/info.json中的配置信息，例如数据路径“data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet”和视频路径“videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4”。数据加载后，可利用框架内置的迭代器按片段或帧遍历，提取观测图像、状态和动作序列，用于训练策略网络。由于数据集未分割验证集，用户需手动划分或采用交叉验证方式评估模型性能。此外，数据特征（如图像通道顺序为C×H×W）需在预处理时保持一致，以确保与常见深度学习模型兼容。

背景与挑战

背景概述

在机器人学习领域，模仿学习与行为克隆依赖大量高质量示范数据，但真实机器人数据采集成本高昂、环境多样性和安全性受限。pick_place_side_no_crop数据集由LeRobot框架生成，创建于虚拟仿真环境“unity”中，专注于“拾取与放置”这一基础操作任务。数据集包含100个示范轨迹、46782个帧样本，以15fps的频率通过单一摄像头的图像、三自由度状态与四自由度动作记录操作过程，并在Apache-2.0许可下开放。作为标准化机器人操作学习基准，该数据集为研究从视觉输入到动作映射的端到端策略提供了低门槛、可复现的训练资源，推动了机器人技能泛化与仿真到现实迁移的研究。

当前挑战

该数据集所解决的领域问题包括：机器人精细操作中动作精度与视觉反馈的耦合挑战，以及从有限示范中学习鲁棒策略的泛化难题。构建过程中，虚拟环境与真实世界的“仿真—现实”差距、缺乏多样化场景与任务变体、以及单一视角（cam0）带来的遮挡与深度信息缺失，共同构成了数据集的局限。此外，仅有100个轨迹的相对小规模数据量，使得策略易过拟合且难以应对未见物体或位姿变化，对模型的结构先验与数据增强能力提出了更高要求。这些挑战制约了数据集在复杂工业场景或非结构化家庭环境中的直接应用。

常用场景

经典使用场景

在机器人操作研究中，数据集扮演着驱动算法从仿真走向真实的关键角色。'pick_place_side_no_crop' 数据集专为抓取与放置（Pick-and-Place）任务设计，记录了机器人在侧面视角下执行100个完整回合的操作数据，包含超过46,000帧的高频图像与状态信息。该数据集最经典的用途是训练基于视觉反馈的模仿学习模型，例如行为克隆（Behavior Cloning）或逆强化学习（Inverse Reinforcement Learning），使机器人能够从观测图像与关节状态中直接映射出连续动作，从而学会稳定抓取并精确放置物体。其结构化的短视频片段格式尤为适合序列模型训练，可高效支持生成式决策算法如Diffusion Policy的迭代优化，加速机器人技能获取进程。

解决学术问题

该数据集精准回应了机器人学习中样本效率低下与跨视角泛化能力不足等核心学术困境。通过统一侧面相机视角的视觉观测与低维状态向量，研究人员得以在可控条件下探索视觉运动策略的因果表征（Causal Representation），剖析动作预测与图像特征解耦的内在机制。此外，数据集提供的100个可重复回合解决了从仿真向真实迁移时数据稀缺的瓶颈，为验证域随机化（Domain Randomization）、数据增强策略及预训练视觉编码器的鲁棒性提供了标准化基准。其紧凑特征空间亦被用于研究联合动作与状态预测的隐式物理建模，推动无模型控制策略向更高样本效率演化，赋予机器人学以更扎实的定量实验根基。

衍生相关工作

围绕该数据集，学术界已浮现一系列具有启发性的衍生工作。基于其提供的连续动作标签，研究者发展了‘状态正则化策略学习’（State-Regularized Policy Learning），将策略网络输出的动作序列与物理约束相融合，有效抑制了机械臂常见的抖动现象。另有工作进一步提出‘多视角语义融合’（Multi-view Semantic Fusion）架构，将该数据集中的侧向观-测图像与俯视图像模态整合，构建跨视角注意力机制，显著提升非结构化场景中的抓取成功率。此外，数据集的标准化录制协议催生了‘动作先验蒸馏’（Action Prior Distillation）范式，通过从多条示范轨迹中提取共有的运动模式来加速新任务的零样本学习，推动了机器人操作知识存储与复用的边界拓展。