tersoohaan/eval_pi0_white_bowl

该数据集是使用LeRobot创建的机器人数据集，包含15个episodes，总计7776帧，数据文件大小为100MB，视频文件大小为500MB，帧率为30fps。数据集包含机器人动作、状态观测、前视和顶视图像（含深度信息）等特征，适用于机器人学习任务。This dataset is a robotics dataset created using LeRobot, containing 15 episodes, totaling 7776 frames, with data files of 100MB and video files of 500MB, at a frame rate of 30fps. The dataset includes features such as robot actions, state observations, front and top view images (with depth information), suitable for robotics learning tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动技能学习与泛化能力提升的基石。该数据集基于LeRobot框架构建，源自so101_follower型机器人执行单一任务的操作记录，共包含15个完整轨迹片段，累计7776帧时序数据。数据采集过程中，机器人通过前置于基座与顶部的摄像头同步捕获640×480分辨率的RGB视觉影像及深度图，同时以30帧/秒的采样频率记录六自由度关节空间状态（包括肩部、肘部、腕部及夹爪位置）与对应的动作指令，形成观测与动作的紧密耦合。所有原始数据按固定规模分块存储为Parquet格式，视频流则采用AV1编码压缩以平衡存储效率与质量。

特点

该数据集在结构设计上展现出鲜明的实用特性。其核心优势在于多模态信息的协同记录：同时提供前视与顶视双视角的RGB视频、深度图以及关节空间状态，为模仿学习算法提供了丰富的环境感知与本体感知渠道。总帧数达7776帧且无预设训练/验证拆分的设计，适用于大规模连续序列建模。数据格式严格规范，特征命名清晰标注了每个关节的物理含义，且动作与状态空间维度完全对齐（均为6维），简化了策略网络输入输出的映射复杂度。此外，采用分块存储与视频压缩技术，使得千兆字节级的数据管理更高效，即便在有限计算资源下也能流畅加载。

使用方法

借助LeRobot库，研究者可高效调用该数据集进行机器人操控策略的研发。推荐使用LeRobot的Dataset类直接加载数据，通过指定数据集名称与缓存路径即可自动解析元信息、恢复多模态时间序列。数据以字典形式按帧呈现，包含'observation.images.front'、'observation.images.top'、'observation.state'及'action'等关键字段，便于与行为克隆、隐式Q学习等算法框架无缝对接。由于所有轨迹片段集中于单一训练集合，用户可按需自定义采样逻辑或划分验证子集，以评估学习效果的泛化性。建议在模型训练时调用内置的DataLoader进行批处理，利用其并行读取与数据增强功能，加速从原始观测到策略输出的端到端学习流程。

背景与挑战

背景概述

在机器人操作领域，模仿学习依赖高质量、任务聚焦的示范数据推动策略泛化。eval_pi0_white_bowl数据集由LeRobot框架创建，基于SO-101从动机器人（Follower角色）在受控环境中采集，专注于单一操作任务——抓取或放置白色碗具。该数据集包含15个完整回合、7776帧时间序列，以30帧/秒的频率记录六维关节动作（肩部、肘部、腕部及夹爪位置），同步提供前视与顶视RGB视频及深度图。其结构设计旨在支持策略模型的训练与评估，体现了机器人数据集从大规模多样化向精细任务特化的发展趋势，为细粒度操作能力的研究提供了标准化的测试基准。

当前挑战

该数据集所解决的领域问题在于：机器人精细操作中，单一任务场景下的高保真示范数据稀缺，限制了策略对具身动作的仿效能力。构建过程中面临多项挑战：首先，数据采集需协调六个自由度的运动时序与多视角视觉观测的严格同步；其次，15个回合仅7776帧的规模对算法模型的数据效率提出了严苛要求；最后，深度图与RGB视频的异构模态融合，需在数据存储与特征对齐层面克服编码与索引的复杂性，这些因素共同构成了该数据集在实用化部署中的核心壁垒。

常用场景

经典使用场景

在机器人操作领域，模仿学习需要高质量的示范数据来驱动策略学习。eval_pi0_white_bowl数据集由LeRobot框架采集，包含15个演示回合、总计7776帧数据，聚焦于单一任务——机器人操控白色碗具。其特色在于融合了多模态观测信息，包括前视与顶部高清RGB图像（480×640分辨率，30帧/秒）、深度图以及完整的6维关节状态与动作序列（肩部、肘部、腕部、夹具等位置）。研究者常将其作为基准，验证基于视觉的模仿学习算法在刚性物体抓取与放置任务上的有效性，尤其适用于评估模型在精细操作场景中的泛化能力。

解决学术问题

该数据集旨在解决机器人操作研究中数据稀缺与算法可复现性不足的困境。通过提供标准化、结构化的多模态示范数据，它支持从图像到动作的直接映射学习，推动视觉运动策略（Visuomotor Policy）的对比研究。学术界可利用这些精确标注的位姿与力矩信息，探究抓取稳定性控制、深度感知辅助操作等核心问题；同时，其公开的parquet格式与统一视频编码（AV1）降低了数据预处理门槛，为跨实验室的公平性比较与消融实验奠定了坚实基础。

衍生相关工作

围绕eval_pi0_white_bowl的规范结构，衍生出扩散策略（Diffusion Policy）的动作序列生成基线、基于Transformer的视觉语言模型微调及数据增强管线等经典工作。LeRobot社区借助其统一的元数据格式（chunk分块存储、动作与状态对齐），催生了多任务联合训练框架与跨数据集迁移评估方法。部分研究进一步扩展同步视频-深度模态的仿射变换，以验证闭环控制策略对非刚体干扰的鲁棒性，推动了机器人操作领域开源标准的发展。