seal-water-bottle-cap_rl_224

该数据集是一个用于机器人学习的大规模、多模态数据集，使用LeRobot框架创建，核心为机器人执行单一任务时记录的交互数据。包含579个任务执行片段，总计超过308万帧数据，采样频率60 Hz，分块存储（每块1000帧）。数据高度结构化，包括：1) 机器人状态观测（observation.state）：14维浮点数组，记录双足机器人‘yam’左右机械臂的关节角度（腰部、肩部、肘部、前臂滚动、手腕角度、手腕旋转）及夹爪开合状态；2) 指令状态观测（observation.commander_state）：字符串字段，记录指令状态；3) 机器人动作（action）：14维浮点数组，代表执行动作；4) 视觉观测（observation.images）：来自三个视角摄像头（左腕、右腕、高位）的同步视频流，每帧分辨率224x224，3通道彩色，h264编码；5) 元数据和奖励信号：包括时间戳、帧索引、片段索引、任务索引、即时奖励和蒙特卡洛回报。观测、动作和元数据以Parquet格式存储（约100MB），视频数据以MP4格式单独存储（约200MB）。适用于机器人强化学习、模仿学习、行为克隆、多模态感知与控制策略学习等研究，采用Apache 2.0许可证。

原始信息汇总

数据集概述：seal-water-bottle-cap_rl_224

• 任务类别：机器人学（Robotics）
• 许可证：Apache-2.0
• 创建工具：LeRobot

数据集规模

• 总片段数：579
• 总帧数：3,089,399
• 总任务数：1
• 帧率：60 FPS
• 数据分块：分块大小1000帧
• 训练/测试划分：全部579个片段用于训练

数据格式

• 数据文件：data/*/*.parquet（Parquet格式）
• 视频文件：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据总大小：数据文件约100 MB，视频文件约200 MB

数据特征

观察空间（Observation）：

1. 机器人状态（observation.state）：14维浮点向量（float32），包含左右两侧的腰、肩、肘、前臂旋转、腕角度、腕旋转和夹爪共14个关节状态，频率60 FPS。
2. 指挥者状态（observation.commander_state）：1维字符串，表示指挥者状态，频率60 FPS。
3. 图像观察：三个摄像头视角，均为224x224 RGB图像（3通道），H.264编码，频率60 FPS：
   • cam_left_wrist（左手腕相机）
   • cam_right_wrist（右手腕相机）
   • cam_high（高位相机）

动作空间（Action）： 14维浮点向量（float32），与机器人状态对应，表示左右各7个关节的目标动作，频率60 FPS。

其他特征（非观察/动作）：时间戳、帧索引、片段索引、全局索引、任务索引、奖励（reward）、蒙特卡洛回报（mc_return），均为数值型，频率60 FPS。

机器人信息

• 机器人类型：yam

引用

• 论文：待补充
• BibTeX：待补充

搜集汇总

数据集介绍

构建方式

本数据集专注于机器人旋盖操作任务，基于LeRobot框架构建，旨在为模仿学习与强化学习研究提供高质量数据支撑。数据采集于YAM机器人平台，通过遥操作方式记录双机械臂执行密封水瓶盖旋拧动作的完整流程，涵盖579条演示轨迹、共计超过300万帧数据。每条轨迹均以60帧/秒的采样频率同步记录机器人14维关节角度、动作指令、手腕与高位摄像头图像序列、时间戳及奖励信号。所有数据按块分片存储为Parquet格式，并辅以对应H.264编码视频文件，兼顾存储效率与可读性。

特点

该数据集的核心特色在于其多模态、高保真的数据构成。机器人状态与动作空间均为14维，精细描述左右臂各关节角度与夹爪位置，使模型能够学习精确的力控操作。视觉观测包含左腕、右腕及高位三路224×224像素RGB图像，从不同视角捕捉操作细节与环境信息。数据还纳入指挥官状态、帧索引、任务标签及蒙特卡洛回报等结构化信息，便于开展离线强化学习中的奖励建模与策略评估。所有特征均以一致的60帧/秒频率记录，保障时序连贯性。

使用方法

数据集可直接通过LeRobot库加载使用，用户可借助其可视化空间快速预览轨迹内容。默认训练集包含全部579条轨迹，无需额外划分。数据读取时，系统自动从Parquet文件加载低维状态与动作数据，并从对应MP4文件中按需解码视频帧，实现高效流式访问。研究者可基于14维动作空间设计策略网络，利用三视角图像进行视觉特征提取，亦可使用帧索引与时间戳对齐多模态信息，适用于行为克隆、逆强化学习及基于模型的强化学习等范式。Apache-2.0许可协议进一步降低了学术与工业场景的使用门槛。

背景与挑战

背景概述

seal-water-bottle-cap_rl_224数据集诞生于机器人学习领域对精细化操作技能日益增长的需求之中。该数据集由研究团队利用LeRobot框架构建，专注于解决一个极具代表性的机器人操控任务——水瓶瓶盖的密封操作。数据集采集于一款名为yam的机器人平台，通过左右各七个自由度的关节配置，模拟了双臂协同完成精密装配的真实工业场景。其核心研究问题在于如何通过模仿学习或强化学习算法，使机器人能够从高维视觉输入中习得稳定、可泛化的抓取与旋拧策略。该数据集包含579个演示片段，总帧数超过300万，以60帧/秒的高频记录了三路224x224分辨率的视觉图像与14维的机器人状态-动作序列。如此规模的精细化操作数据，为推动双臂机器人从示范中学习（Learning from Demonstration）的研究提供了关键资源，对提升机器人柔性制造、日常服务等应用中的操作鲁棒性具有深远影响。

当前挑战

该数据集所针对的领域问题聚焦于机器人精细操作中的两类核心挑战：其一，密封瓶盖任务要求机器人实现高精度的力位混合控制，在旋拧过程中既要保证夹持力的稳定性，又要完成连续的角度追踪，这对传统控制方法构成了严峻考验。其二，构建过程中面临多模态数据同步采集的难题，需将三个视角的RGB图像、14维关节角度与力矩信息、指令状态等异构数据在60Hz频率下精确对齐，任何毫秒级的时序偏差都会导致学习策略的失效。此外，数据采集本身亦充满挑战——如何通过遥操作或示教方式生成高质量、低噪声的演示轨迹，如何在有限样本中平衡策略的泛化能力与过拟合风险，都是该数据集试图为社区解决的关键技术瓶颈。

常用场景

经典使用场景

在机器人学习与操控领域，seal-water-bottle-cap_rl_224数据集为模仿学习与强化学习算法提供了丰富的训练素材。该数据集聚焦于双机械臂协同完成水瓶瓶盖旋拧这一精细操作任务，采集了579个完整回合、超过300万帧的高频（60fps）动作与状态数据。每一回合均记录了14维关节角度指令、左右腕部及高位摄像头的224×224像素视觉图像，构成了视觉-运动控制联合学习的基础。研究者常将其作为基准，用于评估基于行为克隆、逆强化学习或离线强化学习方法在精密装配任务上的泛化能力与鲁棒性。

衍生相关工作

基于该数据集，研究人员已拓展出多项代表性工作。例如，在离线强化学习框架中引入隐变量模型以处理多峰动作分布的方法，显著提升了策略在无额外交互时的表现；也有工作将视觉-运动联合表示与基于Transformer的序列建模结合，实现了对长程操作动作的时序一致性学习。另有一些研究将其作为参照，对比不同数据增强策略在减少现实域差异中的效用，并衍生出适用于低样本场景下的元学习变形网络。这些衍生工作进一步巩固了该数据集在精细操作学习研究中的标杆地位。

数据集最近研究

最新研究方向

在机器人操作领域，精细操控能力一直是研究的前沿焦点。该数据集专为双机械臂协同拧紧瓶盖任务设计，采集了579条高质量演示轨迹，涵盖14维关节空间状态与动作序列，并融合了多视角视觉反馈。当前热门研究方向聚焦于利用此类大规模遥操作数据，结合模仿学习与强化学习范式，训练机器人掌握复杂装配技能。该数据集的发布不仅为双机械臂协同控制提供了标准化评估基准，更推动了从示教轨迹中提取稳健策略的算法进展，对于提升服务机器人在家庭场景中的实用性与自主性具有深远意义。