cube_to_bowl_new

该数据集是使用LeRobot创建的机器人相关数据集。包含5个episodes，1668帧，1个任务。数据集结构包括动作（delta_x, delta_y, delta_z, gripper）、奖励、完成状态、观察图像（顶部和腕部摄像头，128x128分辨率，30fps）、状态观察（7维）等多种特征。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB。

This is a robotics dataset created using LeRobot. It includes 5 episodes, 1668 frames, and 1 task. The dataset structure covers multiple features such as actions (delta_x, delta_y, delta_z, gripper), rewards, completion status, observation images from top and wrist cameras (128×128 resolution, 30 fps), 7-dimensional state observations, and more. The data is stored in Parquet format, with a total data file size of 100 MB and a video file size of 200 MB.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的示范数据集是驱动智能体掌握复杂操作技能的核心基石。cube_to_bowl_new数据集依托LeRobot框架构建，旨在捕捉将立方体转移至碗中的精细操作轨迹。该数据集包含5个完整的示范回合，总计1668帧时序数据，帧率为30 FPS。数据以parquet格式存储于分块文件（chunk-{index}）中，每个分块容量为1000帧，并辅以AV1编码的视频文件以记录视觉信息。特征空间涵盖4维动作指令（delta_x、delta_y、delta_z和夹爪开合状态）、7维机器人状态观测以及来自顶部和腕部双视角的128×128 RGB图像，为模仿学习提供了多模态对齐的标准化数据流。

特点

该数据集最显著的特点在于其高度结构化的多模态对齐与紧凑的规模设计。全部5个回合均服务于单一任务，确保了任务内示范的一致性，同时1668帧的有限规模使其成为快速验证算法或进行原型开发的理想选择。动作空间明确包含三维平移增量与一维夹爪控制，而观测空间则融合了机器人关节状态与双视角视觉输入，这种配置直接支撑了视觉-运动策略的端到端学习。此外，数据集的元信息（如奖励、终止标志及离散惩罚项）为强化学习中的奖励塑形提供了基础，且Apache-2.0许可进一步降低了学术与工业应用的门槛。

使用方法

使用该数据集时，建议通过LeRobot库的DataLoader直接加载parquet和视频文件，以高效构建训练批次。由于数据集已按标准格式组织（含train split），开发者可无缝集成至模仿学习（如行为克隆）或离线强化学习管线中。具体而言，可将observation.images.top和observation.images.wrist作为视觉编码器输入，结合observation.state作为状态先验，以action作为预测目标。对于视频数据，需注意其AV1编码格式，确保环境支持相应的解码器。鉴于总帧数较少，推荐采用留一法（leave-one-out）进行回合级别交叉验证，以评估策略的泛化能力。

背景与挑战

背景概述

在机器人操作领域，模仿学习与示教数据集的构建是推动智能体从感知到动作映射的关键基石。cube_to_bowl_new数据集由Hugging Face社区基于LeRobot框架创建，专注于单任务机器人操作场景，即机械臂将立方体抓取并放置于碗中。该数据集共包含5个演示片段、1668帧时序数据，以30帧/秒的采样频率记录来自顶部与腕部双视角的128×128像素视觉信息，同时捕获7维关节状态与4维动作指令（包含笛卡尔空间位移与夹爪控制）。尽管规模有限，其结构化的多模态数据格式为机器人策略学习提供了标准化基准，尤其适用于评估小样本模仿学习算法在精确抓取与放置任务上的泛化能力，对推动低资源条件下的机器人技能习得研究具有示范意义。

当前挑战

该数据集面临的首要挑战在于领域问题的复杂性：机器人抓取与放置任务要求模型同时理解物体几何属性、空间位姿关系及夹爪控制精度，而仅依靠5个演示片段（1668帧）的有限样本，极易导致策略过拟合或对未见初始配置的泛化失败。构建过程中，数据采集需克服多模态同步难题——顶部与腕部摄像头以AV1编码记录视频，需与高频关节状态及动作流严格对齐，任何时序偏移都将破坏策略学习的因果一致性。此外，动作空间包含连续位移与离散夹爪控制，其异质性特征对模型架构的设计提出额外要求。当前数据集的单任务设定与低样本量，亦难以支撑对复杂环境扰动或任务变体的鲁棒性研究。

常用场景

经典使用场景

cube_to_bowl_new数据集在机器人操作领域具有重要的经典应用场景，尤其聚焦于物体抓取与放置任务。该数据集通过记录机械臂将立方体从初始位置转移至碗状容器中的完整操作序列，为模仿学习与行为克隆算法提供了高保真的演示数据。每个轨迹包含来自顶部与腕部摄像头的128×128像素双视角视觉观测，以及7维状态向量与4维动作指令（包括三轴平移增量与夹爪开合控制），使得研究者能够训练机器人从视觉输入直接映射到精细操控策略。这一场景成为验证端到端学习框架在结构化操作任务中泛化能力的基准测试平台。

解决学术问题

该数据集有效解决了机器人学习中数据稀缺性与任务复杂性之间的核心矛盾。在学术研究中，它常被用于探索如何从少量演示中高效提取操作技能，缓解样本效率低下的难题。通过提供标准化的小规模轨迹集合（5个片段共1668帧），它支持对比不同算法在有限数据下的学习能力，例如评估隐式行为克隆、扩散策略或基于能量模型的策略在低数据 regime 下的表现。其意义在于推动了从理论模型到可复现实验的桥梁构建，使研究者能够聚焦于算法创新而非数据收集，从而加速了机器人操作学习领域从仿真到真实环境的迁移研究。

衍生相关工作

基于cube_to_bowl_new数据集衍生了一系列经典研究工作，主要集中在模仿学习与机器人操作策略优化领域。例如，研究者利用该数据集验证了扩散策略（Diffusion Policy）在生成平滑且多模态动作轨迹中的有效性，展示了其优于传统高斯混合模型的性能。另一项工作探索了基于Transformer的序列建模方法，通过该数据集中的时间序列数据训练机器人预测长程操作步骤。此外，该数据集还被用于评估数据增强技术（如随机裁剪与色彩抖动）对视觉策略泛化能力的影响，催生了关于鲁棒表示学习的相关论文。这些工作共同推动了机器人学习从单一任务演示向多任务泛化的范式演进。