u850-fridge-drink-06-HIL-BC-FV-v30

该数据集是使用LeRobot框架创建的机器人操作数据集，机器人类型为u850。数据集包含50个episodes，共239578帧，所有episodes对应一个单一任务。数据以50fps的帧率记录，包含多模态观测和动作信息。观测包括：关节状态（7个关节加夹爪，共10维）、基座位姿（x、y、偏航角，共3维）、以及三个视角的RGB相机图像（左、右、腕部，分辨率480x640，H.264视频编码）。动作空间与关节状态维度相同（10维）。此外，数据集还包含episode索引、帧索引、时间戳、任务索引、子任务索引、高级任务索引、语言指令（持久性语言和事件语言）等元数据。数据以parquet格式存储结构化数据，视频以mp4格式存储。该数据集适合用于机器人模仿学习、行为克隆、离线强化学习等任务。This dataset is a robot manipulation dataset created using the LeRobot framework, with the robot type being u850. It contains 50 episodes totaling 239,578 frames, all corresponding to a single task. Data is recorded at 50 fps and includes multimodal observations and action information. Observations include: joint states (7 joints plus gripper, 10 dimensions), base pose (x, y, yaw, 3 dimensions), and RGB camera images from three perspectives (left, right, wrist, resolution 480x640, H.264 video encoding). The action space has the same dimensionality as joint states (10 dimensions). Additionally, the dataset includes metadata such as episode index, frame index, timestamp, task index, subtask index, high-level task index, and language instructions (persistent language and event language). Data is stored in parquet format for structured data and mp4 format for videos. This dataset is suitable for tasks such as robot imitation learning, behavior cloning, and offline reinforcement learning.

原始信息汇总

数据集概述

数据集名称： maskjp/u850-fridge-drink-06-HIL-BC-FV-v30

数据集描述： 该数据集由 LeRobot 创建，主要用于机器人领域的模仿学习任务，具体涉及将饮料放入冰箱的操作。数据集包含多模态传感器数据，用于训练机器人策略。

基本信息

• 许可证： Apache-2.0
• 任务类别： 机器人技术 (Robotics)
• 标签： LeRobot
• 机器人类型： u850
• 数据格式： Parquet 文件，路径为 data/*/*.parquet

数据集结构

• 总片段数 (Episodes)： 50
• 总帧数 (Frames)： 239,578
• 任务数： 1
• 采样频率 (FPS)： 50 Hz
• 拆分： 训练集 (train) 包含全部 50 个片段
• 数据大小： 数据文件约 100 MB，视频文件约 200 MB

数据特征

该数据集包含多种类型的观测和动作数据：

观测数据 (Observations)

• 状态 (observation.state)： 10 维浮点数组，包含 7 个关节位置（joint1 至 joint6 和夹爪 gripper）
• 图像 (observation.images)： 三个摄像头视角，均为 H.264 编码视频，分辨率 480x640x3，帧率 50 FPS
  • 左摄像头 (left)
  • 右摄像头 (right)
  • 腕部摄像头 (wrist)
• 基座位姿 (observation.base_pose)： 3 维浮点数组，包含基座的 x、y 位置和偏航角 (yaw)

动作数据 (Action)

• 动作 (action)： 10 维浮点数组，包含 7 个关节运动指令（joint1 至 joint6 和夹爪 gripper）

其他元数据

• 片段索引 (episode_index)： 标识数据所属的片段
• 帧索引 (frame_index)： 标识片段内的帧序号
• 时间戳 (timestamp)： 每帧的时间戳信息
• 完成标志 (next.done)： 布尔值，指示片段是否结束
• 修正标志 (correction)： 布尔值，用于标记修正数据
• 任务索引 (task_index)： 任务编号
• 子任务索引 (subtask_index)： 子任务编号
• 高层任务索引 (task_index_high_level)： 高层任务编号
• 持续语言指令 (language_persistent)： 持久化的语言描述
• 事件语言指令 (language_events)： 事件相关的语言描述

附加信息

• 工具： 数据集包含一个名为 say 的工具函数说明，可执行文本转语音功能
• 可视化： 可通过 Hugging Face 上的 LeRobot 可视化工具查看数据集内容

引用

该数据集的引用信息暂未提供。

搜集汇总

数据集介绍

构建方式

该数据集由LeRobot框架构建，聚焦于机器人从冰箱取饮料的任务，采用人类示教（HIL）与行为克隆（BC）相结合的方式采集。数据包含50个演示片段，总计239,578帧，以50Hz频率记录。每个片段详细记录了机器人关节状态、末端夹爪动作、基座位姿以及来自左、右和腕部三个视角的同步视频流。数据以parquet和mp4格式存储，并附有语言指令和事件标注，便于多模态学习。

特点

该数据集的核心特点在于其多模态、高频率的数据融合，涵盖10维动作空间、3维基座位姿和3路高清视频，为模仿学习提供了丰富的感知与运动信息。数据中包含了持久性语言指令和事件性语言标注，支持分层任务理解。此外，数据集还包含修正标记（correction），有助于过滤或加权低质量演示。数据划分明确，训练集为全部50个片段，便于复现实验。

使用方法

使用该数据集时，可借助LeRobot库进行加载与预处理，其API支持直接读取parquet和视频文件。用户可将其用于训练机器人策略，如行为克隆或强化学习，通过语言指令引导任务执行。数据集兼容HuggingFace的dataset可视化工具，便于快速查看样本。训练时需注意视频解码与时间戳对齐，并利用fps为50的帧率进行时序建模。该数据集适合作为机器人操作任务的基准，支持从原始数据到策略部署的完整流程。

背景与挑战

背景概述

u850-fridge-drink-06-HIL-BC-FV-v30数据集由HuggingFace团队基于LeRobot框架构建，专为机器人操作任务设计，聚焦于从冰箱中取出饮料的精细操作。该数据集于2023年发布，由LeRobot社区的研究人员主导，旨在推动模仿学习与行为克隆在真实世界机器人中的应用。核心研究问题包括如何通过多视角视觉与本体感觉数据训练机器人完成高精度抓取与放置，以及如何利用语言指令引导分步操作。数据集包含50个演示片段，总计239,578帧，以50Hz频率采集，涵盖左右相机、腕部相机及机械臂关节状态，并附加了任务级与事件级语言标注。其发布对机器人学习领域产生了显著影响，为行为克隆与视觉-语言-动作模型提供了标准化训练基准，尤其促进了家庭服务机器人操作能力的提升。

当前挑战

该数据集面临的挑战多维且立体。在领域问题层面，冰箱饮料取放任务要求机器人在动态环境中实现精准的物体识别、手眼协调与力控操作，这对模型的泛化能力与实时决策构成严峻考验。构建过程中，数据采集需同步多传感器（视觉、关节、基座位姿）并保持时间对齐，任何偏差都会污染训练数据。此外，50个演示的规模相对有限，难以覆盖复杂姿态与光照变化，可能引发过拟合。多视角视频（总视频容量达200MB）与高频采样（50Hz）还带来存储与处理开销，而语言注释的语义精确性与歧义消除亦需人工精细校正。这些挑战共同凸显了在真实机器人场景中构建高质量、可扩展数据集的核心难题。

常用场景

经典使用场景

该数据集是面向机器人操作任务的高质量示教数据集，由LeRobot框架采集，包含50个演示片段，总计约24万帧，涵盖了双臂机器人从冰箱取饮料的完整操作流程。其最经典的使用场景是作为模仿学习（Behavior Cloning）的训练数据，研究者可利用观测到的关节角度、基座位姿及多视角视觉图像，训练策略网络从示范中学习控制策略，实现端到端的机器人操作技能迁移。

解决学术问题

该数据集解决了机器人学中长时序、多模态操作任务的策略学习难题。通过提供高频率、多视角的感知数据与统一的动作标注，它为验证和改进模仿学习算法（如扩散策略、Transformer-based策略）提供了标准化基准，促进了从视觉输入到精细动作映射的泛化研究，对推动具身智能和机器人学习领域的发展具有重要学术价值。

衍生相关工作

基于此类数据集，衍生出一系列经典工作，如基于扩散模型的机器人动作生成、分层强化学习与模仿学习的结合，以及多模态感知融合策略。此外，LeRobot等开源社区基于此类数据推动了跨具身平台的行为克隆研究，催生了多种预训练-微调范式的应用，为机器人操作的通用策略学习奠定了数据与方法基础。