NoahWeiss/farm_uf850_bottle

FARM UF850数据集是一个基于LeRobot格式的遥操作单臂机械臂操作数据集，使用UFactory UF850（6自由度机械臂，配备平行夹爪）和Meta Quest作为遥操作控制器收集。数据集包含200个episodes，覆盖两个自然语言任务：将瓶子从桌子移动到盒子，以及从盒子移动到桌子。数据收集通过FARM边缘代理完成，作为CS153课程的最终项目，旨在用于π0.5模型的完整微调。数据集包括总计59,183帧，持续时间约32.9分钟，中位episode长度为9.3秒（279帧），帧率为30 FPS。机器人状态和动作为7维浮点数，包括6个关节角度和夹爪状态（0表示打开，1表示闭合）。数据集提供两个相机视角：固定基座视图和腕部安装视图，均为640×480 RGB视频，使用h264编码。数据存储结构包括元数据文件、parquet格式的episode数据文件和mp4格式的视频文件。The FARM UF850 dataset is a LeRobot-format dataset of teleoperated single-arm manipulation collected on a UFactory UF850 (6-DoF arm with parallel gripper) using a Meta Quest as the teleoperation controller. It includes 200 episodes across two natural-language tasks: moving a bottle between a desk and a box. The data was collected with the FARM edge agent as a CS153 final project and is intended for a full fine-tune of the π0.5 model. The dataset contains 59,183 total frames, with a duration of 32.9 minutes, a median episode length of 9.3 seconds (279 frames), and a frame rate of 30 FPS. The state and action space consists of 7-dimensional float32 values, covering 6 joint angles and a gripper state (0 for open, 1 for closed). Two camera views are provided: a fixed base view and a wrist-mounted view, both in 640×480 RGB video with h264 encoding. The dataset is organized with metadata files, parquet-format episode data files, and mp4-format video files.

搜集汇总

数据集介绍

构建方式

该数据集基于UFactory UF850六自由度机械臂与平行夹爪，通过Meta Quest头戴设备进行遥操作采集，共计200个episodes，涵盖两个自然语言描述的任务：将瓶子在桌面与盒子间来回搬运。数据以LeRobot v2.0格式存储，每帧记录7维状态与动作信息，包括六个关节角度及夹爪开合度，动作值定义为下一时刻的绝对状态。采集过程借助FARM边缘代理完成，作为CS153课程项目的成果呈现。

特点

数据集总计包含59,183帧，持续约32.9分钟，中位episode时长9.3秒（279帧），帧率稳定在30 FPS。状态与动作空间均采用32位浮点数，各关节角度覆盖典型运动范围，夹爪状态从0（张开）至1（闭合）。配备两个Intel RealSense D435摄像头，分别固定于基座与腕部，提供640×480分辨率的RGB图像，经h264编码存储。两个任务分别由101与99个episodes构成，数量均衡。

使用方法

数据以目录形式组织，元数据存放于meta文件夹内，包括info.json与episodes.jsonl等文件；episode数据以Parquet格式存储于data/chunk-000/路径下；视频则按摄像头视角分别存放于videos/chunk-000/observation.images.base与wrist子目录。下游训练时，推荐将6个关节维度转换为增量差，并保持夹爪绝对表示，适用于对π0.5模型进行全参数微调。

背景与挑战

背景概述

在机器人操作领域，数据驱动的方法正逐渐成为提升泛化能力的关键路径，然而高质量、标准化的操作数据集仍相对稀缺。FARM UF850 Bottle数据集由Noah Weiss等研究人员在CS153课程项目框架下创建，旨在为单臂操作任务提供精细化的示范数据。该数据集基于UFactory UF850六自由度机械臂与平行夹爪，通过Meta Quest手柄进行遥操作采集，涵盖200条示范片段，聚焦于瓶子在桌面与箱子之间的拾取与放置两种自然语言指令任务。数据集采用LeRobot v2.0格式，包含两个640×480分辨率的RGB摄像头（底座与腕部）提供的视觉观测、七维状态/动作空间以及完整的元数据，为模仿学习与预训练模型的微调提供了标准化基准。其发布对推动低成本、高可复现性的机器人操作研究具有重要价值，尤其适用于π0.5等模型的领域适应训练。

当前挑战

该数据集所面临的挑战体现在两个层面。在领域问题层面，尽管数据集针对拾取与放置任务提供了密集示范，但机器人操作中固有的物体位姿变化、光照干扰以及环境非结构化特性仍对动作泛化构成考验，有限的任务种类与固定操作对象难以覆盖真实场景中的多样性。在构建过程中，遥操作采集方式虽降低了示范获取门槛，但需确保操作员动作的连贯性与一致性以避免噪声累积；同时，六自由度关节空间与夹爪状态的绝对位置表示在后续处理中需转换为差分格式，数据格式转换与对齐环节增加了预处理的复杂度。此外，数据集规模有限（约200条片段），对模型训练的数据效率和鲁棒泛化提出了更高要求。

常用场景

经典使用场景

在机器人学习与操控研究领域，farm_uf850_bottle数据集为模仿学习与行为克隆提供了理想的基准。该数据集采用UFactory UF850六自由度机械臂配合平行夹爪，通过Meta Quest进行遥操作采集，包含200条演示片段，涵盖将瓶子在桌面与盒子之间往返移动的两种自然语言指令任务。其标准化的LeRobot v2.0格式与七维状态-动作空间（六关节角度加夹爪开度）设计，特别适合用于训练基于视觉和关节状态的端到端操控策略，例如对π0.5模型进行全参数微调。研究者常利用该数据集验证模仿学习算法在多视角观测（基座与腕部D435相机）、变长演示序列以及精确位姿操控场景下的泛化能力。

解决学术问题

该数据集针对机器人操控学习中的多个学术挑战提供了解决方案。首先，它缓解了真实机器人演示数据获取成本高、标准化程度低的问题，通过公开200个高质量遥操作片段，为重复性实验和跨方法比较奠定了基础。其次，数据集精心设计的两种对称任务（放置到盒子与放回桌面）有助于研究任务表示与策略泛化中的语义理解难题，推动语言条件操控的发展。此外，其30Hz的高频采样与完整的运动学记录，使得研究者能够深入分析低频控制信号下的轨迹平滑性、任务执行的时间一致性以及多维动作空间中的策略鲁棒性。这些特性共同促进了更鲁棒、更高效机器人学习算法的涌现。

衍生相关工作

该数据集的发布推动了多项相关工作的衍生。最直接的应用是作为π0.5模型全参数微调的基准数据，验证大规模预训练模型在小样本机器人操控任务上的迁移能力。研究者可能基于此数据集探索数据增强技术，如动作噪声注入或观测遮挡模拟，以提高策略的泛化性。此外，其双摄像头配置激励了多模态融合与视角不变表示学习的研究，例如通过对比学习对齐基座与腕部视角的特征空间。任务中的自然语言指令也为人机交互中的语言驱动操控提供了验证范例，促进结合大语言模型与低层策略的层级规划方法的发展。该数据集同时可作为评测不同遥操作效率与演示质量对下游策略影响的实验平台。