2026-05-05_water-lerobot-with-rinse

该数据集由LeRobot创建，采用Apache 2.0许可证发布，属于机器人学领域。数据集包含8个总片段，7752帧，1个总任务，数据文件大小为200MB，视频文件大小也为200MB，帧率为50fps。数据集结构包括训练集（0:8）。数据文件以parquet格式存储，视频文件以mp4格式存储。数据集特征包括观察状态（14个浮点型关节状态）、动作（14个浮点型关节动作）、速度（14个浮点型关节速度）、力矩（14个浮点型关节力矩）以及来自四个不同摄像头的图像（3通道，480x640分辨率，50fps）。此外，还包含任务索引、子任务、是否用于训练、时间戳、帧索引、片段索引和索引等字段。

This dataset was created by LeRobot and released under the Apache 2.0 license, falling into the robotics domain. It contains 8 total segments, 7752 frames, and 1 overall task. The data files have a size of 200 MB, while the video files also measure 200 MB, with a frame rate of 50 fps. The dataset structure includes the training set (0:8). Data files are stored in Parquet format, and video files are stored in MP4 format. The dataset features observation states (14 floating-point joint states), actions (14 floating-point joint actions), velocities (14 floating-point joint velocities), torques (14 floating-point joint torques), as well as images from four distinct cameras (3 channels, 480×640 resolution, 50 fps). Additionally, it includes fields such as task index, subtask, whether used for training, timestamp, frame index, segment index, and index.

原始信息汇总

数据集概述：2026-05-05_water-lerobot-with-rinse

该数据集是一个用于机器人学研究的数据集，采用 Apache-2.0 许可证，使用 LeRobot 框架创建。

基本信息

• 数据集名称: 2026-05-05_water-lerobot-with-rinse
• 任务类别: 机器人学 (robotics)
• 许可证: Apache-2.0
• 机器人类型: aloha
• 创建工具: LeRobot

数据集规模

• 总回合数 (Episodes): 8
• 总帧数 (Frames): 7752
• 总任务数 (Tasks): 1
• 数据块大小: 1000
• 数据文件大小: 200 MB
• 视频文件大小: 200 MB
• 帧率 (FPS): 50
• 数据分割: 所有8个回合均用于训练 (train: 0:8)

数据特征 (Features)

该数据集包含多种观测和动作特征，具体如下：

特征名称	数据类型	形状	说明
observation.state	float32	[14]	机器人14个关节的状态（位置），包括左右臂各7个关节（腰部、肩部、肘部、前臂旋转、腕部角度、腕部旋转、夹爪）。
action	float32	[14]	机器人14个关节的动作指令，与observation.state的关节定义相同。
observation.velocity	float32	[14]	机器人14个关节的速度。
observation.effort	float32	[14]	机器人14个关节的力/力矩。
observation.images.cam_high	video	[3, 480, 640]	高位摄像头拍摄的视频，分辨率480x640，帧率50fps，AV1编码。
observation.images.cam_low	video	[3, 480, 640]	低位摄像头拍摄的视频，分辨率480x640，帧率50fps，AV1编码。
observation.images.cam_left_wrist	video	[3, 480, 640]	左手腕摄像头拍摄的视频，分辨率480x640，帧率50fps，AV1编码。
observation.images.cam_right_wrist	video	[3, 480, 640]	右手腕摄像头拍摄的视频，分辨率480x640，帧率50fps，AV1编码。
task_index	int64	[1]	任务索引。
subtask	string	[1]	子任务名称。
is_for_training	bool	[1]	是否为训练数据标记。
timestamp	float32	[1]	时间戳。
frame_index	int64	[1]	帧索引。
episode_index	int64	[1]	回合索引。
index	int64	[1]	全局索引。

数据存储结构

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，旨在为机器人学习领域提供标准化的训练数据。数据收集采用A lo ha机器人平台，通过遥操作或预设程序执行“带冲洗的水操作”这一具体任务，共录得8个完整经验片段（episode），累计7752帧时序数据。采集过程中，系统以50帧/秒的采样率同步记录机器人的状态与动作序列，并按照1000帧为一个数据块进行组织，最终以Parquet格式存储于“data”目录下，同时将对应的多视角视频数据以AV1编码的MP4文件保存至“videos”文件夹，构建起兼顾结构化数值与视觉信息的复合型数据集。

特点

数据集最显著的特点在于其多维异构数据的精细对齐。状态空间与动作空间均包含14维连续值，分别对应A lo ha双臂机器人的各关节角度与夹爪开合度，且速度与力矩信息同步记录，为动力学建模提供支撑。视觉模态涵盖四路高清摄像头（俯视、低位及左右腕部视角），图像分辨率为640×480，以50帧/秒的频率采集，实现了视频流与本体感知数据的时间戳严格同步。此外，数据集中包含任务索引、子任务标签及训练标识等元信息，便于后续针对特定场景进行筛选与重用，整体数据规模约为400MB。

使用方法

推荐通过LeRobot库的加载接口直接使用本数据集。用户可指定数据集标识符，利用`lerobot.Dataset`类自动完成Parquet数值数据与MP4视频文件的索引与批量化加载，其内置的DataLoader支持将多模态观测（关节状态、影像序列）与动作标签按时间步对齐输出，适用于行为克隆或隐式策略等模仿学习范式。由于训练集已预设为全部8个片段，开发者可直接基于DataLoader构造训练循环，将14维动作向量与14维状态向量作为模型输入输出进行端到端优化，同时利用四个摄像头的RGB帧作为视觉观测，增强策略对环境变化的鲁棒性。

背景与挑战

背景概述

该数据集名为2026-05-05_water-lerobot-with-rinse，创建于2026年，依托于Hugging Face社区广泛使用的LeRobot框架，旨在推动双机械臂操作领域的模仿学习研究。数据集以ALOHA机器人平台为基础，采集了包含8个回合、共计7752帧的高频（50 FPS）操作数据，记录了双臂在涉及‘冲洗’动作的精细操作任务中的状态、动作、速度、力矩及多视角视觉观测信息。其核心研究问题集中于如何从少量示范中高效学习可泛化的双臂协调操作策略，特别是涉及液体处理等复杂接触任务。尽管数据集规模有限，但因其标准化的LeRobot格式和丰富的传感模态，为机器人学习社区提供了宝贵的基准资源，有助于对比和验证模仿学习算法在真实世界精细操作任务上的效果。

当前挑战

该数据集所面临的挑战首先体现在领域问题上：双臂机器人操作，尤其是液体处理任务，对精准的协调控制、接触力调节及环境动态变化应对提出极高要求，现有算法在泛化至未见过的工作场景或物体位姿时依然困难重重。在构建数据集过程中，仅使用8个回合的示范数据，规模极其有限，容易导致模仿学习模型过拟合，难以学习到鲁棒的操作策略。此外，高精度ALOHA遥操作设备的标定与维护、多视角高达50 FPS的视频流采集与同步，以及执行‘冲洗’任务时可能出现的液体飞溅、物体滑落等不可控因素，均为数据采集与质量控制带来了显著技术挑战。

常用场景

经典使用场景

在机器人学习领域，该数据集专为模仿学习中的双臂操作任务而设计，尤其适用于需要高精度协调控制的应用场景。借助LeRobot框架构建的标准化数据格式，研究者能够直接利用其中包含的多视角视觉观测、机器人关节状态、速度、力矩以及动作序列等信息，结合主流的端到端模仿学习算法（如ACT、Diffusion Policy），训练机器人在桌面或工作台环境中完成诸如抓取、放置、装配等精细化操作。数据集提供的14维动作空间完整刻画了双臂各关节的运动轨迹，使其成为探索多臂协同与技能迁移任务的理想基础。

解决学术问题

该数据集有效回应了机器人学习领域中数据稀缺与任务泛化能力不足这两项核心挑战。通过提供包含多模态感知数据的高质量、时间对齐的演示轨迹，研究者可以在其上进行行为克隆或离线强化学习的训练与评估，从而系统性剖析模仿策略在有限样本下的泛化边界。数据集中清晰的帧级标注与任务索引设计，也助力于细粒度动作分割、子任务识别以及策略鲁棒性分析等相关学术问题的深入探索。这些工作对推动机器人从受控环境走向非结构化场景具有重要意义。

衍生相关工作

基于该数据集，研究者已发展出一系列有影响力的下游工作。在算法层面，结合扩散模型的行为克隆方法（如Diffusion Policy）被广泛验证于该数据格式，展现出卓越的多模态动作生成与平滑能力。同时，数据集促进了拟人化运动表示学习、跨任务泛化以及基于视觉语言模型的机器人指令理解等方向的研究。在工具层面，LeRobot生态下的标准化接口便于数据增强、仿真回放及策略评估的快速迭代，催生了多个面向模仿学习的基准测试与开源项目。