Berkeley Fanuc Manipulation

该数据集可用于基于视觉的机器人模仿学习策略、微调视觉表示模型、训练根据任务指令生成机器人动作的生成模型等。它是用 FANUC Mate 200iD 机器人收集的，两个 RGB 视频（第三-提供了人视图和以自我为中心的视图）、机器人轨迹（关节和动作值）和语言指令。右
数据集格式。格式如下。
状态
主摄像头（固定第三人称视角，224 x 224 x 3）
腕式相机（以自我为中心的视图，224 x 224 x 3）
本体感受信息（关节姿势、抓手状态、关节速度）
语言指导（针对任务）
行动
笛卡尔空间动作

This dataset can be used for vision-based robotic imitation learning strategies, fine-tuning visual representation models, training generative models that generate robotic actions based on task instructions, and other relevant applications. It was collected using a FANUC Mate 200iD robot, and includes two RGB videos (a third-person view and an egocentric view), robot trajectories (joint positions and action values), as well as task-specific language instructions.
The dataset format is as follows:
Status
Main camera (fixed third-person perspective, 224 × 224 × 3)
Wrist camera (egocentric view, 224 × 224 × 3)
Proprioceptive information (joint poses, gripper state, joint velocities)
Task-specific language instructions
Actions
Cartesian-space actions

搜集汇总

背景与挑战

背景概述

Berkeley Fanuc Manipulation数据集是一个17.7GB的机器人学习数据集，包含双视角RGB视频、机器人轨迹和语言指令，适用于模仿学习、视觉模型微调等任务。数据集由Meta AI、加州大学伯克利分校和斯坦福大学于2023年发布。