NoahWeiss/farm_uf850

FARM UF850数据集是一个LeRobot格式的远程操作单臂机械臂操作数据集，专门针对UFactory UF850机械臂（6自由度，带平行夹爪）收集。数据通过Meta Quest作为远程控制器进行采集，包含66个操作片段，覆盖17个不同的自然语言任务，主要涉及立方体操作（例如拾取魔方或立方体并放置到盒子上），并包括遮挡和故障恢复场景。数据集总帧数为25,803帧，持续时间为14.3分钟，中位片段长度为12秒，帧率为30 FPS。机器人状态和动作空间为7维浮点数，包括6个关节角度和夹爪状态（0表示打开，1表示关闭）。数据收集作为CS153最终项目的一部分，使用FARM边缘代理完成，硬件配置包括UF850机械臂、两个Intel RealSense D435摄像头（基座和腕部），以及Mac mini主机。数据集格式为LeRobot v2.0，支持从HuggingFace Hub流式加载，适用于机器人学习和操作任务研究。许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot - 机器人学 - 操作操控 - UFactory - UF850 - 遥操作 - 鲁比克魔方 样本量范围：1万至10万条 # FARM UF850 — 基于UFactory UF850的拾取-放置任务数据集 本数据集为采用LeRobot格式 (LeRobot) 存储的遥操作单臂操控数据集，采集自**UFactory UF850**（带并联夹爪的6自由度机械臂），使用Meta Quest作为遥操作控制器。数据集包含66段轨迹，涵盖17种不同的自然语言指令任务，以鲁比克魔方操控为主（例如拾取魔方并放置于盒子上），包含遮挡场景与失败恢复场景。 本数据集作为CS153课程期末项目，由**FARM**边缘智能体（[代码仓库](https://github.com/NoahWeiss123/CS153)）采集完成。 ## 快速统计数据 | 指标 | 数值 | |---|---| | 轨迹段数 | 66 | | 总帧数 | 25,803 | | 总时长 | 14.3 分钟 | | 单段轨迹中位时长 | 12 秒 | | 帧率 | 30 | | 机器人平台 | UFactory UF850，6自由度机械臂+并联夹爪（7维状态/动作空间） | | 相机配置 | 2台英特尔实感（Intel RealSense）D435相机（基座+腕部），分辨率640×480，编码格式h264 | | 唯一任务数 | 17 | | 数据格式 | LeRobot v2.0 | ## 状态与动作空间 `observation.state`与`action`均为7维float32类型数据，各维度详情如下： | 索引 | 名称 | 单位 | 取值范围 | |----:|------|------|-------| | 0 | 关节1 | 弧度（rad） | ~[-0.94, 0.83] | | 1 | 关节2 | 弧度（rad） | ~[-1.45, -0.07] | | 2 | 关节3 | 弧度（rad） | ~[-1.88, -0.18] | | 3 | 关节4 | 弧度（rad） | ~[-2.71, 2.22] | | 4 | 关节5 | 弧度（rad） | ~[ 0.26, 1.82] | | 5 | 关节6 | 弧度（rad） | ~[-1.18, 0.78] | | 6 | 夹爪 | 0（张开）→ 1（闭合） | 实测范围0.0–0.39 | 注：`action[t] = observation.state[t+1]`；最后一帧的动作会重复最终状态，以保证数据块对齐。 ## 任务列表 所有任务描述均为祈使句、小写形式，无末尾标点。 | 索引 | 轨迹段数 | 任务指令 | |----:|-----------:|------| | 0 | 4 | 从黄色面拾取鲁比克魔方并放置于盒子上 | | 1 | 3 | 从白色面拾取鲁比克魔方并放置于盒子上 | | 2 | 1 | 从黄色面拾取鲁比克魔方后掉落，随后重新拾取并放置于盒子上 | | 3 | 1 | 从右侧拾取鲁比克魔方并放置于盒子上 | | 4 | 30 | 拾取魔方并放置于盒子上 | | 5 | 1 | 观察到盒子后方的魔方，将盒子侧向推移，随后拾取魔方并放置于盒子上 | | 6 | 1 | 从右侧拾取鲁比克魔方并放置于盒子上 | | 7 | 2 | 拾取魔方并放置于盒子上时魔方掉落，随后重新拾取并放置于盒子上 | | 8 | 5 | 观察到盒子后方的魔方，拿起盒子移至一旁，随后拾取魔方并放置于盒子上 | | 9 | 1 | 拾取魔方并放置于盒子上，移开时将其碰落，随后重新拾取并放置于盒子上 | |10 |3 | 拾取魔方，放置到盒子上时失手掉落，随后重新拾取并放置于盒子上 | |11 |1 | 拾取魔方并误放导致其掉落，随后重新拾取并正确放置于盒子上 | |12 |1 | 从盒子后方拾取魔方并放置于盒子上 | |13 |1 | 拾取魔方时意外掉落，随后重新拾取并放置于盒子上 | |14 |5 | 拿起盒子，未发现下方的魔方，随后将盒子放回原位 | |15 |3 | 拿起盒子并放回原位 | |16 |3 | 拿起盒子，发现下方的魔方，将盒子移至一旁，拾取魔方后放置于盒子上 | ## 文件结构 farm_uf850/ ├── meta/ │ ├── info.json # LeRobot v2.0 清单文件 │ ├── episodes.jsonl # 每条轨迹对应一行，格式为 {episode_index, tasks, length} │ ├── tasks.jsonl # 每个任务对应一行，格式为 {task_index, task} │ └── stats.json # 各特征的均值/标准差/最小值/最大值 ├── data/chunk-000/ │ └── episode_NNNNNN.parquet ×66 └── videos/chunk-000/ ├── observation.images.base/ # h264 编码MP4文件，共66个 └── observation.images.wrist/ # h264 编码MP4文件，共66个 ## 使用示例 python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("YOUR_USERNAME/farm_uf850") # 从Hub流式加载数据集 print(ds.num_episodes, ds.num_frames, ds.fps) # 输出：66, 25803, 30 sample = ds[0] sample["observation.state"].shape # 输出：torch.Size([7]) sample["observation.images.base"].shape # 输出：torch.Size([3, 480, 640]) sample["task"] # 自然语言任务指令字符串 ## 采集说明 * 硬件配置：UF850机械臂、2台D435相机（基座+腕部）、Meta Quest 2控制器、Mac mini主机。 * 遥操作流程：VR控制器位姿 → Quest发布ROS-TCP消息 → 笔记本桥接 → 逆运动学求解 → UF850关节指令。关节数据流采用单欧元滤波器（One-Euro filter）进行平滑处理。 * 数据以30 Hz帧率采集，控制器输入支持运动缩放（`motion_scale`可在0.2×–4×范围内按会话配置）。 * 已剔除相机子进程返回重复（缓存）JPEG的帧；本次发布未包含相机帧率修复前采集的41段轨迹。 * 存储的数据为**平滑后的物理机器人运动数据**，而非未平滑的数字臂目标位姿（从UF850 SDK以250 Hz读取编码器数据，以30 Hz帧率快照生成帧数据）。

搜集汇总

数据集介绍

构建方式

FARM UF850数据集源自一项关于机械臂自主操控的学术项目，基于UFactory UF850型六自由度机械臂与平行夹爪的遥操作系统构建。数据采集借助Meta Quest控制器实现人机交互，通过虚拟现实手柄姿态解算并经由ROS-TCP协议传输至笔记本电脑，再由逆运动学转换生成关节指令，辅以单关节一欧滤波器平滑运动轨迹。系统以30帧每秒的速率捕获数据，并利用两台Intel RealSense D435深度相机分别从基座与腕部视角记录图像，确保多模态感知信息的同步对齐。数据集共包含66个演示片段，涉及17种自然语言描述的拾放任务，涵盖了遮挡、掉落与失败恢复等复杂场景，呈现了丰富的操控多样性。

特点

该数据集的核心特色在于其任务设计的层次性与真实性。所有任务指令均以降序祈使句形式呈现，如“拿起魔方并放在盒子上”，但实际操控中融入了物体掉落、遮挡发现与重新摆放等失败恢复环节，模拟了真实环境中机械臂应对意外情况的能力。状态与动作空间均为七维浮点数，包含六个关节角与一个夹爪开合度，且动作定义为下一时刻状态的拷贝，便于序列化建模。每个片段时长中位数仅为12秒，但总帧数超过2.5万，确保了时间分辨率与数据密度间的平衡。此外，数据经过了严格清洗，剔除了因相机帧率问题产生的重复图像，保障了样本质量。

使用方法

数据集采用LeRobot v2.0格式存储，目录结构清晰，包含元数据JSON、任务描述、统计信息以及分块存储的Parquet序列文件与H.264编码视频。用户通过LeRobot库的LeRobotDataset类即可直接从HuggingFace Hub加载数据流，调用时需指定用户名与数据集名称。加载后可便捷获取片段数、总帧数与帧率等信息，每个样本返回状态向量、双视角图像张量及对应自然语言任务字符串。数据集的轻量化设计使其适用于模仿学习、行为克隆或多模态策略训练等研究场景，尤其适合验证机器人在非理想条件下的稳健操控能力。

背景与挑战

背景概述

在具身智能与机器人学习领域，遥操作数据采集是策略学习的重要基础，然而精细操作任务中遮挡、失败恢复等复杂场景的数据稀缺制约了算法的泛化能力。FARM UF850数据集由哈佛大学CS153课程项目的Noah Weiss等研究人员于近期创建，依托UFactory UF850六自由度机械臂与平行夹爪，通过Meta Quest 2控制器进行虚拟现实遥操作，采集了66段、涵盖17种自然语言指令的立方体抓取与放置任务数据。该数据集以LeRobot v2.0格式发布，包含约2.6万帧、双视角Intel RealSense D435相机画面，并创新性地引入了遮挡处理、物体意外掉落与重新抓取等故障恢复场景。作为首个基于UF850平台的高质量、多任务操作数据集，它为模仿学习与策略泛化研究提供了重要的基准资源，促进了低成本机械臂在复杂操作任务中的应用。

当前挑战

该数据集致力于解决机器人操作中遮挡与失败恢复场景下的策略学习挑战。在领域问题层面，机器人在非结构化环境中执行物体抓取与放置时，常因目标被遮挡或操作失误导致任务中断，现有数据集多假设理想化环境，难以支撑鲁棒策略的训练。FARM UF850通过设计推箱移障、物体滑落重抓等17种任务，模拟真实操作中的动态干扰与恢复过程，挑战策略对意外事件的响应能力。在构建过程中，研究者面临遥操作延迟与数据同步难题，采用每关节单指数滤波器平滑机器人运动，并剔除因相机子进程返回缓存帧导致的数据污染，最终仅保留经物理运动验证的25,803帧有效数据，确保了动作序列与视觉观测的准确对齐。

常用场景

经典使用场景

在机器人操作领域，farm_uf850数据集为研究单臂抓取与放置任务提供了标准化的基准平台。该数据集基于UFactory UF850机械臂和Meta Quest遥操作控制器，采集了66个演示轨迹，涵盖17种自然语言指令驱动的任务，包括魔方拾取、放置、遮挡处理及失败恢复等复杂场景。数据格式遵循LeRobot v2.0规范，包含7维关节状态与动作空间、双视角RGB视频流（基座与腕部相机），为模仿学习、行为克隆和端到端策略训练提供了丰富的多模态训练素材。

实际应用

在实际应用中，farm_uf850数据集赋能了工业装配、仓储物流与服务机器人等多个领域的智能化升级。通过训练基于该数据的模仿学习模型，机械臂能够自主完成零件分拣、物品装箱等重复性操作，并能在物体被遮挡或抓取失败时自动调整策略。例如，生产线上的协作机器人可通过学习数据集中的失败恢复示例，在零件滑落或放置偏差时执行二次抓取与精准放置，大幅降低人工干预需求，提升产线柔性与生产效率。

衍生相关工作

该数据集衍生了一系列开创性的研究工作，尤其在行为克隆与视觉运动策略领域成果丰硕。研究人员基于farm_uf850开发了多种改进型模仿学习算法，如结合注意力机制的轻量级策略网络、融合深度图像和语言指令的多模态Transformer模型，以及能在线自适应环境变化的元学习架构。相关工作在机器人顶级会议CoRL、ICRA和IROS上多次发表，验证了数据集在评估策略泛化性、样本效率与失败恢复能力方面的基准价值，推动了从实验室场景到真实应用的算法普适性研究。