base4-plate-croissant-01-BC-FV-v3

该数据集基于LeRobot框架构建，用于机器人操作任务。数据集包含由u850型机器人执行单一任务（如放置牛角包）的示教数据。数据共包含49个完整episode，总计83927帧，以50fps频率采集。每个episode包含多模态观测：10维关节状态（包括6个关节、夹爪和基座x、y、偏航角）、3个视角的RGB图像（左、右、腕部，分辨率480×640，H.264编码视频）、基座位姿（3维），以及对应的10维动作指令。此外还记录了episode索引、帧索引、时间戳、任务索引等辅助信息。数据集分为训练集（0-48episode）和测试集（未指定），总数据量约100MB，视频文件约200MB。该数据集适用于机器人模仿学习、离线强化学习等任务。This dataset is built on the LeRobot framework for robot manipulation tasks. It contains demonstration data of a single task (e.g., placing a croissant) performed by a u850 robot. The dataset includes 49 complete episodes with a total of 83,927 frames collected at 50fps. Each episode consists of multimodal observations: 10-dimensional joint states (including 6 joints, gripper, and base x, y, yaw), RGB images from three viewpoints (left, right, wrist, resolution 480×640, H.264 encoded video), base pose (3-dimensional), and corresponding 10-dimensional action commands. Auxiliary information such as episode index, frame index, timestamp, and task index is also recorded. The dataset is split into training set (episodes 0-48) and test set (unspecified), with a total data size of approximately 100MB and video files of about 200MB. It is suitable for robot imitation learning, offline reinforcement learning, and other tasks.

原始信息汇总

数据集概述

• 数据集名称: base4-plate-croissant-01-BC-FV-v3
• 许可证: Apache-2.0
• 任务类型: 机器人技术 (Robotics)
• 标签: LeRobot
• 创建工具: 该数据集使用 LeRobot 创建

数据集规模

• 总片段数: 49
• 总帧数: 83,927
• 总任务数: 1
• 数据划分: 训练集 (train): 0-49
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB

数据详情

• 机器人类型: u850
• 录制帧率 (fps): 50
• 块大小 (chunks_size): 1000
• 代码库版本: v3.0

数据特征

观测状态 (observation.state)

• 数据类型: float32
• 形状: [10]（对应10个电机：joint1至joint6、gripper、base_x、base_y、base_yaw）
• 帧率: 50 fps

图像观测

共有三个摄像头视图，均为视频格式，分辨率480x640x3，H264编码，无音频，帧率50 fps：

• observation.images.left: 左侧摄像头
• observation.images.right: 右侧摄像头
• observation.images.wrist: 腕部摄像头

基础位姿 (observation.base_pose)

• 数据类型: float32
• 形状: [3]（base_x、base_y、base_yaw）
• 帧率: 50 fps

动作 (action)

• 数据类型: float32
• 形状: [10]（对应10个电机：joint1至joint6、gripper、base_x、base_y、base_yaw）
• 帧率: 50 fps

其他特征

• episode_index: int64 类型，帧率 50
• frame_index: int64 类型，帧率 50
• timestamp: float32 类型，帧率 50
• next.done: bool 类型，帧率 50
• correction: bool 类型，帧率 50
• index: int64 类型，帧率 50
• task_index: int64 类型，帧率 50

数据集可视化

可通过 可视化页面 查看数据集内容。

引用信息

该数据集的引用信息暂未提供（BibTeX 待补充）。

搜集汇总

数据集介绍

构建方式

本数据集名为base4-plate-croissant-01-BC-FV-v3，是基于LeRobot框架在机器人操作系统上采集的仿人示教数据。其构建过程涵盖49个操作片段，总计83,927帧，以50Hz的采样频率记录了机器人执行“放置羊角面包于盘上”单一任务的全过程。数据以Parquet格式存储元数据，并以H.264编码的视频文件保存多视角视觉观测，包括左侧、右侧及腕部摄像头的高清图像流。此外，数据集中还包含了机器人关节状态、基座位姿以及对应的动作指令，构成了完整的观测-动作对。

使用方法

使用时，研究者可通过LeRobot库的加载接口直接读取该数据集，将其用于行为克隆或强化学习的训练与验证。数据集的结构明确，包含观测状态、动作、时间戳及任务索引等字段，便于进行数据预处理与批次采样。用户可针对特定的机器人平台（如u850）复用此数据，或将其作为迁移学习的源域。借助HuggingFace提供的可视化工具，用户能够直观浏览数据质量与任务执行过程，从而更有效地进行算法调试与模型优化。

背景与挑战

背景概述

在机器人学习领域，模仿学习与行为克隆技术依赖于高质量、多模态的示教数据。base4-plate-croissant-01-BC-FV-v3数据集由HuggingFace团队基于其LeRobot框架创建，旨在捕获移动机械臂在桌面操作任务中的精细动作。该数据集采用u850型机器人平台，包含49个演示片段，共计83,927帧，以50Hz的频率同步记录10维关节状态、基座位姿及三视角视觉信息（左、右、腕部）。其设计紧密围绕行为克隆算法的需求，为训练端到端的机器人操作策略提供了标准化、结构化的数据基础。作为LeRobot生态的一部分，该数据集推动了机器人学习社区对可复现、可扩展数据收集流程的探索，对具身智能领域的研究与发展具有显著的促进意义。

当前挑战

该数据集构建面临的挑战涵盖领域核心难题与工程实践两方面。领域层面，移动机械臂的精准操作需协同控制7自由度关节、夹爪及移动基座，其高维动作空间与动态环境感知（本体感觉与视觉融合）对行为克隆算法的泛化能力和鲁棒性提出严苛要求。为准确学习复杂技能，数据需捕捉精细动作与多视角观测之间的时序关联，而数据规模有限（仅含49个回合、单一任务）可能制约模型应对环境变化的能力。工程层面，数据采集涉及多传感器（编码器、相机）的精确时间同步与空间标定，以及不同数据模态（状态、图像、动作）在50Hz高频下的有效整合与压缩存储，同时还需确保数据标注的一致性和完整性，这些均为构建高质量机器人学习数据集的重要挑战。

常用场景

经典使用场景

base4-plate-croissant-01-BC-FV-v3数据集是面向机器人操作学习领域的精细采集样本，其核心场景为基于视觉的行为克隆（Behavior Cloning）训练。该数据集以移动机械臂u850为载体，涵盖49个演示回合、逾8.3万帧高帧率（50fps）多视角图像与关节状态数据，为端到端策略学习提供了丰富的多模态观测序列。研究者常利用其联合左、右、腕部三路视觉信息与本体感知状态，训练卷积或Transformer架构的动作生成模型，以实现对‘放置牛角包至餐盘’这一精细操作的鲁棒复现，从而验证模仿学习算法在复杂接触任务上的泛化性能。

解决学术问题

该数据集有效解决了机器人操作研究中数据稀缺与场景单一的问题，为从原始感知到动作映射的端到端学习提供了基准性实验平台。其高精度的时间对齐（50Hz采样）与完整的状态-动作对记录，促使研究者深入探索视觉运动策略的因果推理能力，并定量评估不同观测融合方案对操作成功率的影响。此外，数据集中包含的校正标记（correction）字段也为研究干预式学习、错误恢复机制及人机交互中的增量学习范式提供了关键数据支撑，推动了模仿学习理论向非完美演示场景的拓展。

实际应用

在产业实践中，该数据集可助力餐饮服务机器人完成餐具摆放、食品分拣等精细处理任务的技能迁移。基于该数据训练的策略模型可直接应用于配备同构移动机械臂的自动化厨房，实现牛角包等易碎烘焙品的无损摆盘，进而减少人工干预成本。同时，其多视角视觉配置亦为仓储物流中的无序抓取与定点放置作业提供了可行的低成本解决方案，为中小型企业在非结构化环境下的柔性自动化改造提供了可复用的数据资产。

数据集最近研究

最新研究方向

在具身智能与模仿学习的前沿疆域，该数据集作为基于LeRobot框架采集的高频机器人操作样本，聚焦移动机械臂在精细操作任务中的行为克隆研究。其以50Hz的采样频率记录了包含基座移动与关节协同的十维动作空间，以及多视角视觉观测，为多模态感知与运动控制耦合建模提供了丰富素材。当前研究热点在于利用此类高分辨率演示数据，结合扩散策略或Transformer架构，提升机器人在非结构化环境中的泛化能力与操作精准度，尤其关注从人类演示中高效提取可复用的技能表征，推动具身智能体从实验室场景走向真实世界的复杂应用。