Faless/eval_harvest-noee-right-mix

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=Faless/eval_harvest-noee-right-mix">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "piper_full",
"total_episodes": 5,
"total_frames": 8621,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:5"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"joint_1.pos",
"joint_2.pos",
"joint_3.pos",
"joint_4.pos",
"joint_5.pos",
"joint_6.pos",
"gripper.pos"
],
"shape": [
7
]
},
"observation.state": {
"dtype": "float32",
"names": [
"joint_1.pos",
"joint_2.pos",
"joint_3.pos",
"joint_4.pos",
"joint_5.pos",
"joint_6.pos",
"gripper.pos",
"gripper.tau"
],
"shape": [
8
]
},
"observation.images.image": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.image2": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动模仿学习与行为克隆算法发展的基石。eval_harvest-noee-right-mix数据集依托于LeRobot框架构建，以Piper Full型机械臂为硬件平台，通过遥操作或预设策略在模拟或真实环境中采集执行单一‘收获’任务的动作序列。数据集共收录5个完整演示回合（episode），合计8621帧数据，帧率为30 FPS。所有数据被切分为若干大小为1000帧的chunk，并以Parquet格式高效存储于’data/‘目录下，同时匹配的RGB视频流则采用AV1编码压缩为MP4文件，存放于’videos/‘对应路径中，形成了结构化的多模态数据存储体系。

使用方法

本数据集专为基于LeRobot的模仿学习工作流设计。用户可通过Hugging Face的datasets库直接加载，或使用LeRobot提供的可视化工具在模型空间中预览回合视频与状态轨迹。在训练阶段，开发者可依据meta/info.json中的特征定义，将state、image和action序列组织成观测-动作对，用于训练行为克隆（BC）或扩散策略（Diffusion Policy）等模型。由于训练集覆盖了完整的0至4号回合，推荐将部分回合用于验证，以评估模型的泛化能力。数据加载时需注意按chunk索引序列读取Parquet文件，并将视频流与时间戳对齐，以确保时序一致性。

背景与挑战

背景概述

该数据集由Faless等人基于LeRobot框架创建，聚焦于机器人操作领域的仿真环境评估任务。采用piper_full机械臂，通过5个演示回合、8621帧时序数据，构建了包含7维关节动作与8维状态观测的标准化数据集。其核心研究问题在于为机器人学中的收获任务（harvest）提供可重复的评估基准，尤其针对无故障右臂操作场景。数据以30帧/秒的视觉流配合AV1编码的640×480图像，结合Apache-2.0开源许可发布，旨在推动机器人学习从仿真到真实环境的迁移研究。作为LeRobot生态中的评估专用子集，该数据集为多视角视觉-运动控制任务中的策略泛化与鲁棒性研究提供了关键支撑。

当前挑战

该数据集面临的核心挑战体现于多维度。首先，仅有的5个演示回合导致样本量极为稀疏，难以支撑数据驱动的模仿学习或强化学习算法对高维运动策略的稳健拟合。其次，构建过程中需解决仿真环境与物理世界间的动力学差异（sim-to-real gap），尤其对于piper_full机械臂的柔顺控制，由7维关节动作映射至8维状态（含附加力矩）的非线性关系显著增加了数据标注与验证的难度。此外，单一收获任务与无故障场景的设置限制了策略对故障扰动、任务变异及动态环境变化的泛化能力，使得数据集的领域覆盖度与典型性亟待扩充，以应对复杂农业或工业操作中的实际部署需求。

常用场景

经典使用场景

在机器人学习与操作领域，数据集常被用于模仿学习范式中以训练机械臂完成特定任务。eval_harvest-noee-right-mix 数据集聚焦于单任务场景，提供了机械臂在收获场景下的完整操控轨迹，涵盖7维关节动作与8维状态观测，以及双目视觉输入。经典用法包括基于行为克隆或逆强化学习的方法，利用该数据集的帧序列与动作标签，训练端到端策略网络，使机械臂学会从视觉感知到关节控制的映射。数据集的固定时间步采样和一致性任务模式，使其成为验证模仿学习算法在有限样本条件下泛化能力的理想基准。

解决学术问题

机器人操作任务中，从演示数据中高效学习策略一直是核心学术挑战。该数据集解决了数据采集与标注标准化的难题，通过统一的LeRobot框架提供了结构化的动作和状态空间，便于研究者聚焦于算法设计而非数据预处理。针对小样本学习与动作复现精度问题，该数据集允许开展对高维视觉输入与低维控制信号之间复杂映射规律的研究，推动了紧凑表示学习和视觉运动推理方法的发展。其规范化格式显著提升了实验结果的可复现性，促进了机器人学习领域从碎片化数据到可比性基准的转变。

实际应用

实际应用层面，该数据集为农业采摘机器人的操作控制提供了直接支撑。在果蔬采摘或精细农作物处理场景中，利用模型基于该数据集习得的收获轨迹，机器人能够完成对目标的定位、抓取与分离操作。数据集中的视觉帧与关节力矩信息，有助于在实际部署中结合传感器反馈进行动态调整。典型应用包括在温室或仿生环境中模拟采收过程，通过迁移学习使系统适应不同成熟度的作物，降低对人工规则的依赖，提升自动化采收的稳健性。

数据集最近研究

最新研究方向

在机器人学习与模仿学习的前沿领域中，eval_harvest-noee-right-mix数据集为评估机械臂在复杂环境下的精细操作能力提供了宝贵的基准。该数据集依托于LeRobot框架，聚焦于一种包含多自由度关节与夹爪动作的“收割”任务，通过标准化记录动作序列、状态观测与多视角视觉流，推动了具身智能体在少样本、高保真数据驱动下的行为克隆与策略泛化研究。其结构化设计契合了当前热点——利用大规模、带注释的机器人演示数据来训练可迁移的视觉运动策略，从而加速家庭服务、精密装配等场景中机器人自主作业的落地进程，对构建更鲁棒、可解释的机器人学习生态系统具有显著意义。