lihuihuihui/eval_pick_and_place5

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 3,
"total_frames": 1688,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:3"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.top": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.wrist_left": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，eval_pick_and_place5数据集依托LeRobot平台构建，专注于拾取与放置任务的评估。该数据集通过模拟或实际机器人交互采集，包含3个完整任务片段，总计1688帧数据，以30帧每秒的速率记录。数据以分块Parquet文件形式存储，每块约1000帧，辅以AV1编码的MP4视频文件，分别从顶部和左侧腕部视角捕捉480x640分辨率的RGB图像，同步记录六自由度机械臂关节位置及时间戳索引，确保了时序对齐与多模态融合。

特点

该数据集以多模态观测与精确动作标注为核心特征，提供了丰富的机器人状态信息。观测部分融合了双视角视觉流与关节位置传感器数据，视觉信息涵盖顶部全局视角与腕部局部细节，均以标准视频格式封装；动作空间则定义了肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置六维连续控制量。数据集结构清晰，通过帧索引、片段索引与任务索引实现高效检索，支持端到端模仿学习或强化学习算法的训练与验证，尤其适用于复杂操作任务的策略泛化研究。

使用方法

使用本数据集时，研究者可通过LeRobot框架或兼容工具加载Parquet数据文件与对应视频流。数据按训练划分组织，涵盖全部3个任务片段，可直接用于策略学习或基准测试。典型流程包括解析动作与观测特征，其中动作维度为6，观测包含状态向量与图像序列；时间戳与帧索引确保了时序一致性，便于构建状态-动作对序列。数据集适用于机器人控制模型的离线训练、行为克隆算法的性能评估，或多模态感知与控制联合建模的实验验证，为拾放任务的研究提供了标准化数据基础。

背景与挑战

背景概述

在机器人操作领域，模仿学习与强化学习的发展亟需高质量、结构化的真实世界交互数据集作为支撑。eval_pick_and_place5数据集应运而生，它由Hugging Face的LeRobot项目团队创建，旨在为机器人抓取与放置任务的算法评估提供基准数据。该数据集聚焦于解决机器人灵巧操作中的核心研究问题，即如何从多模态观测（如关节状态与视觉图像）中学习有效的控制策略，以完成复杂的物体操控任务。其构建依托于开源机器人平台，通过记录真实机械臂（如so_follower型机器人）的执行轨迹，为学术界和工业界提供了宝贵的实证研究资源，推动了数据驱动机器人控制方法的进步。

当前挑战

eval_pick_and_place5数据集所针对的领域挑战在于机器人抓放任务的高度复杂性与不确定性，这要求算法能够处理高维连续动作空间，并理解从多视角视觉输入到关节运动的精确映射关系。在数据集构建过程中，面临诸多技术难题：确保数据采集的同步性与一致性是一大考验，需协调关节状态传感器与多个摄像头（如顶部和腕部视角）的时间戳对齐；同时，大规模视频数据的存储与高效压缩（如采用AV1编解码）带来了存储与处理开销；此外，数据集的规模相对有限，仅包含3个完整 episodes，可能影响模型训练的泛化能力，且缺乏详尽的元数据（如创建者、论文引用）也为其可复现性与学术认可度带来了挑战。

常用场景

经典使用场景

在机器人操作领域，eval_pick_and_place5数据集为机器人抓取与放置任务提供了丰富的多模态数据。该数据集通过记录机械臂在特定环境中的动作序列与视觉观测，成为训练和评估机器人控制算法的核心资源。研究者能够利用其包含的关节位置、图像视频及时间戳信息，构建端到端的模仿学习或强化学习模型，以模拟真实世界中的物体操控过程。

实际应用

在实际工业与物流场景中，eval_pick_and_place5数据集能够指导自动化分拣、装配及包装系统的优化。基于其数据训练的模型可部署于类似机械臂平台，执行精准的物品抓取与位置调整任务，提升生产线的灵活性与效率。此外，该数据集也为服务机器人的日常物品操作提供了可迁移的学习范例。

衍生相关工作

围绕该数据集，衍生出多项关于多模态机器人学习的经典研究。例如，结合视觉与状态信息的端到端策略网络、基于时间序列预测的动作规划方法，以及跨任务的知识迁移框架。这些工作进一步拓展了数据驱动机器人技术在仿真到真实迁移、少样本学习等方向的应用边界。