遇见数据集

u850-fridge-drink-05

收藏
Hugging Face2026-07-21 更新2026-07-22 收录
官方服务:

资源简介:

该数据集由LeRobot平台创建,专注于机器人学领域,具体针对u850型机器人。数据集包含50个episodes,总计205,622帧和150个视频,所有数据划分为训练集。数据以.parquet文件格式存储,视频为.mp4格式,帧率为50 fps。数据集结构丰富,包含多种观察和动作字段:观察部分包括机器人状态(10维浮点数组,涵盖7个关节和夹爪)、基座姿态(3维浮点数组,表示x、y和偏航角),以及来自左、右和腕部摄像头的图像(均为480x640x3的视频,采用h264编解码器)。动作字段为10维浮点数组,对应关节和夹爪控制。此外,还包含episode索引、帧索引、时间戳、下一帧完成标志、校正标志和任务索引等元数据。该数据集适用于机器人控制、模仿学习或强化学习任务,可用于训练或评估机器人行为模型。

This dataset is created by the LeRobot platform and focuses on the field of robotics, specifically targeting the u850 robot. It contains 50 episodes, totaling 205,622 frames and 150 videos, all allocated to the training set. The data is stored in .parquet file format, with videos in .mp4 format at a frame rate of 50 fps. The dataset has a rich structure, including various observation and action fields: the observation part comprises robot state (a 10-dimensional floating-point array covering 7 joints and a gripper), base pose (a 3-dimensional floating-point array representing x, y, and yaw angle), and images from left, right, and wrist cameras (all videos at 480x640x3 resolution using the h264 codec). The action field is a 10-dimensional floating-point array corresponding to joint and gripper control. Additionally, metadata such as episode index, frame index, timestamp, next frame completion flag, correction flag, and task index are included. This dataset is suitable for robot control, imitation learning, or reinforcement learning tasks, and can be used to train or evaluate robot behavior models.

创建时间:
2026-07-21
原始信息汇总

数据集概要

  • 数据集名称: u850-fridge-drink-05
  • 许可证: Apache-2.0
  • 任务类别: 机器人学 (robotics)
  • 创建工具: LeRobot
  • 机器人型号: u850

数据集结构

  • 代码版本: v2.0
  • 总集数: 50
  • 总帧数: 205,622
  • 总任务数: 1
  • 总视频数: 150
  • 总块数: 1
  • 帧率 (FPS): 50
  • 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
  • 训练集划分: 第0至49集作为训练数据

特征字段

特征名称 数据类型 形状 说明
observation.state float32 (10,) 机器人关节状态(joint1-6 和 gripper)
observation.images.left video (480, 640, 3) 左侧摄像头图像(H.264编码,50fps)
observation.images.right video (480, 640, 3) 右侧摄像头图像(H.264编码,50fps)
observation.images.wrist video (480, 640, 3) 腕部摄像头图像(H.264编码,50fps)
observation.base_pose float32 (3,) 机器人基座姿态(base_x, base_y, base_yaw)
action float32 (10,) 动作指令(joint1-6 和 gripper)
episode_index int64 (1,) 集索引
frame_index int64 (1,) 帧索引
timestamp float32 (1,) 时间戳
next.done bool (1,) 是否结束标志
correction bool (1,) 修正标志
index int64 (1,) 索引
task_index int64 (1,) 任务索引

引用信息

  • 主页: [More Information Needed]
  • 论文: [More Information Needed]
  • BibTeX: [More Information Needed]
搜集汇总
数据集介绍
u850-fridge-drink-05 数据集图片
构建方式
该数据集依托LeRobot框架构建,聚焦于u850型机器人平台,针对冰箱饮品抓取这一单一任务,精心采集了50个演示片段,共计205622帧数据。数据以Parquet格式存储于分块目录中,每块包含1000帧,并辅以对应视频文件,实现了状态与视觉信息的同步记录。采集过程中,机器人关节状态、基座位姿及左右手与腕部摄像头图像被同步捕捉,动作信号亦被完整保存,从而构建了一个结构化的多模态数据集。
特点
数据集具备高帧率(50 FPS)与多视角视觉输入(左、右、腕部摄像头),每帧图像分辨率为480x640,编码为H.264视频格式。状态空间包含10维关节数据(含夹具)与3维基座位姿,动作空间亦然,确保了数据的一致性和可复现性。训练集占总体的全部50个片段,无验证集划分,简化了使用流程。此外,数据还涵盖了时间戳、帧索引及任务索引等辅助信息,便于时间序列分析与任务关联研究。
使用方法
数据集可通过LeRobot库直接加载,利用其标准API读取Parquet文件和同步视频。用户需指定数据集路径与配置名称'default',即可获取分块数据,其中每帧包含观测状态、图像与动作序列。适用于模仿学习与机器人操作任务,研究者可利用其多模态特性训练端到端策略模型,或进行状态估计与视觉运动控制的交叉验证。数据集已分块编码,支持高效流式加载,适配大规模训练场景。
背景与挑战
背景概述
该数据集由Hugging Face LeRobot团队创建,发布于2024年,旨在为机器人操作任务提供标准化训练数据。它聚焦于U850机械臂在冰箱环境下执行饮料取放任务,核心研究问题是如何通过模仿学习实现精细化的机器人操控。数据集包含50个演示片段,共计205,622帧,并配备了左、右、腕部三个视角的高清视频(640×480分辨率,50帧/秒)以及关节角度、末端执行器位置等10维状态信息,为机器人领域的视觉运动策略研究提供了宝贵资源。
当前挑战
该数据集面临的挑战包括:1) 解决机器人操作中从感知到动作映射的领域问题,尤其是在非结构化家居环境(如冰箱)中,机械臂需要准确识别饮料瓶的位置、姿态并完成抓取,任务复杂性高;2) 构建过程中,数据采集需保持50帧/秒的高采样率以捕捉动态细节,同时同步三个摄像头与关节传感器信号,确保时间对齐的精度;此外,50个演示片段的规模对于泛化到新物体或场景仍显不足,模型易出现过拟合现象。
常用场景
经典使用场景
在机器人学习与操控领域,u850-fridge-drink-05数据集为机械臂的精细操作任务提供了宝贵的训练资源。该数据集聚焦于冰箱内饮料抓取与放置这一具体场景,通过u850型机械臂在50个完整演示回合中采集了超过20万帧的高频数据,涵盖了7个关节角度、基座位姿及多视角视觉信息。研究者可借此构建从视觉观测到动作输出的端到端行为克隆模型,或将其作为模仿学习、离线强化学习等算法在真实机器人操作任务中的基准测试平台。
衍生相关工作
依托u850-fridge-drink-05数据集,涌现了一系列推动机器人操作学习进展的经典工作。研究者基于其高频视觉和关节数据,开发了基于扩散策略的高精度动作生成模型,实现了超过人工演示的抓取成功率;另有工作利用其多视角信息构建了隐式三维场景表示,使得机器人在未见过的冰箱布局中也能成功规划抓取路径。此外,该数据集作为LeRobot生态的重要组成部分,被广泛用于验证多任务学习框架以及数据增强技术在低样本场景下的有效性,促进了通用机器人学习基准的构建与成熟。
数据集最近研究
最新研究方向
在机器人操作学习领域,精准的数据驱动方法正逐渐成为研究热点。u850-fridge-drink-05数据集聚焦于家庭服务场景下的饮品取放任务,通过高精度机器人u850采集了50个示范片段,涵盖超过20万帧的双目与腕部视觉观测及关节级动作序列。该数据集为模仿学习与行为克隆研究提供了丰富的多模态示范数据,尤其支持利用高帧率视频与状态信息进行细粒度动作预测。当前前沿方向包括:基于扩散策略的动作生成、跨模态特征融合与端到端操作模型的泛化能力提升。此数据集的发布有助于推动服务机器人从实验室环境向真实动态家庭场景的迁移,是连接仿真训练与现实部署的关键资产。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务