tersoohaan/eval_pi0_3D_infe_white_bowl

该数据集是使用LeRobot创建的机器人数据集，专注于机器人控制任务。数据集包含15个完整的情节，总计8315帧数据，针对一个任务。机器人类型为so101_follower。数据特征包括：动作数据（6个关节位置，如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置），观测状态（与动作相同的关节位置），前视彩色图像（480x640分辨率，30fps，无音频）和深度图（480x640分辨率，uint16类型），顶部彩色图像（与前端图像类似）。此外，还包含时间戳、帧索引、情节索引、索引和任务索引等元数据。数据以parquet文件格式存储，视频文件以mp4格式存储，总数据大小为100MB，视频大小为500MB。数据集适用于机器人学习和控制研究。This dataset is created using LeRobot and focuses on robotics control tasks. It contains 15 complete episodes, totaling 8315 frames, for a single task. The robot type is so101_follower. The data features include: action data (6 joint positions such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation state (same joint positions as actions), front-view color images (480x640 resolution, 30fps, no audio) and depth maps (480x640 resolution, uint16 type), top-view color images (similar to front-view images). Additionally, metadata such as timestamp, frame index, episode index, index, and task index are included. The data is stored in parquet file format, with video files in mp4 format, total data size is 100MB and video size is 500MB. The dataset is suitable for robotics learning and control research.

搜集汇总

数据集介绍

构建方式

该数据集名为eval_pi0_3D_infe_white_bowl，基于LeRobot框架构建，专为机器人操控任务设计。数据集包含15个完整轨迹（episodes），总计8315帧图像，采集自so101_follower型机器人，专注于单一任务场景。数据以Parquet格式存储于分块文件中，每块容量约1000帧，同时配套MP4格式视频文件，分别记录前向和顶部两个视角的RGB图像及其对应的深度信息。机器人状态与动作空间均由6维浮点向量构成，涵盖肩部、肘部、腕部及夹爪关节的位置信息，确保了运动数据的完整性与一致性。

特点

本数据集的核心特点在于其多模态感知与精细动作记录的融合。包含前向和顶部双视角的640×480分辨率RGB视频流（30fps，AV1编码），以及同步的前向深度图（16位无符号整型），为三维空间感知提供了丰富视觉线索。动作与状态空间均为6维连续值，覆盖机器人全关节运动，且动作与观测状态共享相同命名结构，便于进行模仿学习中的正向与逆向动力学建模。数据集以30帧/秒的高采样率记录，总计约600MB的数据与视频文件，平衡了数据质量与存储效率。

使用方法

使用者可通过LeRobot库加载本数据集，访问预定义的分块Parquet文件与视频路径。数据集内建索引机制，支持按轨迹（episode_index）、帧序号（frame_index）及时间戳（timestamp）检索数据。推荐将全部15个轨迹作为训练集使用（splits中train对应0-14），适用于训练基于视觉的机器人操控策略，如行为克隆或扩散策略。利用双视角RGB-D观测与6维动作空间，可实现从视觉输入到关节级控制的端到端映射，尤其在精细抓取或放置任务（如白色碗具操作）中展现潜力。

背景与挑战

背景概述

该数据集由LeRobot框架构建，聚焦于机器人操作领域的技能学习，具体围绕SO-101Follower机械臂执行白色碗类物体操作任务展开。数据集创建于深度学习与物理世界交互加速融合的时期，核心研究问题在于如何利用多模态感知数据（包括RGB图像、深度图像及关节状态信息）驱动机器人完成精细化的抓取与放置操作。通过采集15个演示回合、共计8315帧的高频数据（30 FPS），该数据集为模仿学习与行为克隆算法提供了低延迟、高保真的训练基础，对推动通用机器人操作策略的泛化能力具有重要参考价值。

当前挑战

在领域问题层面，该数据集致力于攻克机器人精细化操作中的感知—动作闭环难题，例如白色碗类物体的几何对称性与反光特性导致视觉特征模糊，使得基于外观的抓取点预测极易产生歧义。在数据构建过程中，挑战则体现在多传感器的时间同步与标定误差控制上——机械臂的6自由度位姿与广角相机图像之间需确保亚像素级对齐，而15个演示回合的有限规模又必须兼顾动作序列的随机性与任务覆盖的完整性，避免过拟合至单一轨迹模式。

常用场景

经典使用场景

在机器人操作领域，eval_pi0_3D_infe_white_bowl数据集专为评估和训练基于视觉的机械臂操控模型而设计。该数据集中，一台配备六自由度关节的机械臂在执行抓取白色碗状物体的任务，通过15个完整轨迹片段、共计8315帧的高频数据，记录了机械臂从初始状态到成功抓取的全过程。每个轨迹都包含六维关节动作指令、关节状态观测值，以及前视与俯视两个视角的彩色视频流和深度图（480×640分辨率、30帧/秒），为模仿学习与强化学习提供了多模态、高保真的训练素材。研究者可基于此数据集验证策略模型在精细操控任务中的泛化能力与鲁棒性。

衍生相关工作

此数据集衍生的经典工作集中在基于扩散策略的视觉运动策略（diffusion policy）领域，如利用其多视角视频和深度信息训练能生成平滑动作序列的扩散模型。相关研究还拓展到预训练视觉编码器与动作解码器的联合微调范式（例如π0系列模型），探索如何将大规模互联网图像预训练知识迁移到机器人操控任务中。此外，基于该数据集的对比学习、逆动力学模型等方向也已涌现出高质量工作，推动机器人学习社区构建更通用的跨任务操作基座模型。这些成果进一步验证了小规模高质量数据在推进机器人智能从专用技能向通用能力跨越中的关键价值。

数据集最近研究

最新研究方向

面向精细化操作的机器人三维感知与模仿学习数据集。该数据集以so101_follower机械臂为平台，采集了15个回合共8315帧的抓取白色碗的演示数据，融合了前视和俯视RGB图像、深度图以及六维关节状态与动作序列。在当下具身智能热潮中，精细操作能力成为机器人从实验室走向家庭与工业场景的关键瓶颈，而此类高保真、多模态的专家演示数据为行为克隆与扩散策略提供了宝贵的训练素材。通过将视觉观测与连续的关节控制信号对齐，研究者得以探索如何利用隐式策略模型在三维空间中进行零样本泛化或低样本适应，推动机器人对形态多变、纹理简单的日常物体（如白色碗）实现稳健抓取。该数据集的公开，不仅助力了仿真到现实的迁移研究，也为评估轻量级、可复现的LeRobot框架在大规模机器人学习中的实用潜力树立了新标杆。