RevanthGundala/002-pour-water

该数据集是使用LeRobot创建的机器人技术数据集，包含53个episodes和24085帧数据。数据集中包含机器人的动作状态（6个自由度）、观测状态（6个自由度）、手腕摄像头视频（480x640分辨率）和顶部摄像头视频（480x640分辨率）等信息。所有视频均为30fps，采用av1编码。数据集总大小为100MB（数据文件）和200MB（视频文件）。

This dataset was created using LeRobot for robotics applications, containing 53 episodes and 24085 frames. It includes robot action states (6-DOF), observation states (6-DOF), wrist camera videos (480x640 resolution) and top camera videos (480x640 resolution). All videos are at 30fps with av1 codec. The total dataset size is 100MB (data files) and 200MB (video files).

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操作任务设计。通过使用omx_follower机器人，研究人员采集了53个完整回合（episode）的演示数据，共计24085帧，所有数据均来自单一任务——倒水操作。数据以parquet格式存储，分为10个chunk，每个chunk包含1000帧的序列，同时关联MP4视频文件，记录了机器人在操作过程中的视觉与状态信息。数据集的构建过程强调了对机器人关节动作和视觉观测的同步采集，确保了时序一致性。

特点

数据集的显著特点在于其多维度的数据融合。特征空间包括6维动作信号（如肩关节、肘关节、腕关节及夹爪的位置）和6维状态观测，涵盖了机器人运动学的核心参数。同时，数据集提供了两个视角的高清视频观测（腕部相机和顶部相机），分辨率为480×640像素，帧率30fps，采用AV1编码压缩，兼顾了存储效率与视觉细节。此外，每个样本都带有时间戳、帧索引和回合索引，便于进行时间序列分析和强化学习任务的数据切片。

使用方法

使用该数据集时，研究人员可通过LeRobot库轻松加载与可视化。数据集默认划分为训练集（包含全部53个回合），适合用于模仿学习或离线强化学习的模型训练。用户可通过指定data/*/*.parquet路径加载parquet格式的序列数据，或通过视频路径获取对应的MP4画面。数据集结构清晰，特征命名遵循机器人学惯例（如shoulder_pan.pos），便于直接映射到机器人硬件控制指令，同时也支持通过自定义的chunk_size参数调整数据加载的批次粒度，以适应不同学习算法的需求。

背景与挑战

背景概述

在机器人学习领域，模仿学习依赖于高质量的数据集以驱动策略学习，其中精细操作任务如液体倾倒，因其涉及复杂的物理交互与动态控制而尤具挑战性。由RevanthGundala团队依托LeRobot框架创建的002-pour-water数据集，专注于单臂机器人执行倒水操作。该数据集于近期发布，采用Apache-2.0许可协议，包含53个演示片段与超过24000帧序列，以30帧每秒的频率记录来自腕部和顶部摄像头的视觉观测及六维关节状态。通过标准化格式，该数据集旨在为机器人从演示中学习流体操纵提供基准，推动柔性操作与数据驱动控制的交叉研究，其简洁性及针对性使其成为精细动作模仿学习领域的重要资源。

当前挑战

该数据集面临的核心挑战在于所解决的领域问题：倒水操作涉及非刚性物体的动态特性，包括液体的流动、溅射与容器形变，这要求机器人具备高鲁棒性的力位混合控制与视觉伺服能力，远超传统抓取或刚体操控的复杂度。构建过程中的挑战亦不容忽视：数据集仅包含单一任务与单一机器人平台（omx_follower），且未提供测试集划分，53个演示片段的数量相对有限，可能难以覆盖倾倒角度、流速与容器形状等变量导致的泛化需求；同时，视频编码采用AV1格式虽节省空间，但解码复杂度较高，可能增加模型训练时的数据加载开销。

常用场景

经典使用场景

在机器人学习与模仿学习领域，002-pour-water数据集为研究者提供了一个专注于倒水操作任务的精细化训练资源。该数据集包含53条完整演示轨迹，共计超过24000帧数据，记录了机械臂从肩部到腕部六个自由度的精准控制序列。借助高帧率（30FPS）的腕部与顶部多视角视觉信息，该数据集适用于端到端的行为克隆、逆强化学习等经典范式，尤其适合验证视觉-运动耦合策略在复杂液体操控任务中的泛化能力，成为评估机器人精细操作技能习得效率的基准测试平台。

实际应用

在智能家居与服务机器人领域，该数据集所代表的倒水操作具有广泛的实际应用价值。基于此训练的机器人能够自主完成斟茶、注水等精细任务，服务于老年人辅助、餐厅接待及实验室移液等场景。其回放控制策略可移植至低成本康复机器人，帮助肢体功能障碍者完成日常饮水动作。此外，数据集蕴含的视觉抓取与流量调节逻辑，为工业场景中黏稠液体的精准灌装提供了算法原型，展现出从家庭服务到轻工业制造的全链路赋能潜力。

衍生相关工作

该数据集衍生了多项具有影响力的研究工作。基于其多视角视频与动作序列，研究者开发了具备液体体积估计能力的动态加权模仿学习算法，提升了非完整演示场景下的泛化性能。另有工作将其与虚拟域随机化技术结合，构建了可迁移至真实杯具的视觉自适应控制框架。此外，该数据集被用作LeRobot生态系统的示范案例，催生了基于Transformer的时序动作分割模型与注意力引导的碎片化重演机制，为机器人技能库的模块化共享与终身学习开辟了新范式。