wipe-coffee-with-sponge_20260616_164822

该数据集是使用LeRobot平台创建的机器人操作数据集，适用于机器人模仿学习或强化学习等任务。数据集包含一个名为wipe-coffee-with-sponge的任务，涉及使用机器人执行擦拭咖啡渍的动作。数据规模方面，总计包含51个episodes、28,200帧，数据文件大小为100MB，视频文件大小为200MB，帧率为15fps。数据集结构上，每个样本包含以下字段：1) 动作（action）：6维浮点数向量，表示机器人关节（包括肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的位置指令；2) 状态观测（observation.state）：6维浮点数向量，表示机器人关节的实际位置；3) 图像观测：包括侧视（observation.images.side）和俯视（observation.images.up）两个角度的视频流，每帧图像分辨率为480x640，3通道RGB格式，采用AV1编码；4) 时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、样本索引（index）和任务索引（task_index）。数据以分块形式存储，每个分块包含1000个样本，文件格式为Parquet。数据集采用Apache 2.0许可证，并已划分为训练集（包含所有51个episodes）。

原始信息汇总

数据集概述

• 数据集名称: wipe-coffee-with-sponge_20260616_164822
• 许可证: Apache-2.0
• 任务类别: 机器人 (robotics)
• 创建工具: LeRobot

数据集结构

• 机器人类型: so_follower
• 总片段数 (episodes): 51
• 总帧数 (frames): 28,200
• 总任务数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率 (fps): 15
• 数据划分: 仅训练集 (train: 0:51)

特征

特征名称	数据类型	形状	说明
action	float32	[6]	6个关节动作：肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置
observation.state	float32	[6]	6个关节状态（与动作相同）
observation.images.side	视频	[480, 640, 3]	侧方摄像头图像，AV1编码，15fps
observation.images.up	视频	[480, 640, 3]	上方摄像头图像，AV1编码，15fps
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据文件

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 配置文件: default，对应数据文件 data/*/*.parquet

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人动作模仿学习，具体任务为使用海绵擦拭咖啡渍。数据采集自so_follower机器人，共包含51个演示片段，总计28200帧画面，所有数据均划分为训练集。每个片段记录了机器人6个关节（包括肩部、肘部、腕部及夹爪）的位置信息，以及来自侧方和上方两个视角的视觉观测，以每秒15帧的速率同步保存。数据存储采用Parquet格式与AV1编码视频，兼顾了结构化时间序列与高保真视觉信息的整合。

特点

数据集以多模态融合为核心特色，同时提供低维动作与状态序列（6维关节位置）及高维视觉观测（两个480×640的RGB视频流）。所有特征在时间上严格对齐，便于构建端到端的模仿学习模型。数据规模适中（约100MB结构化数据与200MB视频），且包含完整的机器人运动学信息，适合用于研究精细操作技能，尤其是涉及接触力控制的任务如擦拭。Apache-2.0许可进一步降低了学术与工业应用的门槛。

使用方法

数据集推荐通过LeRobot库进行加载与处理，用户可直接利用HuggingFace上的可视化工具预览演示片段。在训练中使用时，可依据框架的标准接口读取Parquet文件和关联视频，将动作序列作为监督信号，状态与图像作为观测输入。由于所有片段已统一归入训练集，用户可自行划分验证集，或基于episode_index进行索引与批量采样。数据集结构清晰，便于扩展至多任务或跨机器人迁移学习场景。

背景与挑战

背景概述

在机器人学习领域，模仿学习因其能使机器人从人类示范中快速习得复杂技能而备受关注。该数据集由研究人员shuowenLLL基于LeRobot平台创建，时间标注为2026年6月16日，专注于解决精细操作任务——用海绵擦拭咖啡渍。数据集采用so_follower机器人平台，共包含51个示范片段，总帧数达28200帧，以15帧/秒的速率记录，涵盖动作序列、状态观测及侧面、顶部双视角视觉信息。这一数据集为机器人灵巧操作研究提供了标准化基准，推动了从单纯抓取到精细化接触任务的范式演进。

当前挑战

领域问题层面，该数据集致力于攻克机器人精细接触任务中的核心挑战——如何在非结构化环境中实现安全、有效的擦拭动作，这要求机器人具备对柔软物体（如海绵）的力控与形变适应能力。构建过程中，挑战主要体现在数据采集的复杂性：需要精确同步双视角视频（480×640分辨率，AV1编码）与6自由度关节状态、动作序列，同时确保51个片段的示范一致性；此外，基于LeRobot的parquet格式存储方案需高效处理总计约300MB的数据与视频文件，并维持15帧/秒的实时录制流，对硬件与软件协同提出了较高要求。

常用场景

经典使用场景

在机器人学习与模仿学习的前沿探索中，wipe-coffee-with-sponge数据集承载着极具代表性的精细操作任务。该数据集专为训练机器人掌握“用海绵擦拭咖啡渍”这一日常清洁动作而设计，其经典使用场景聚焦于基于视觉的机器人动作克隆。借助从“so_follower”机械臂上采集的51条高质量轨迹，研究者可借助两路摄像头（侧视与俯视）捕捉的连续视频流与对应的六维关节动作序列，引导机器人从示教数据中学习诸如海绵抓取、平面擦拭等复合动作的精准执行策略，从而在家居服务、环境维护等领域实现柔性、灵巧的类人操作。

实际应用

从实际应用视角审视，该数据集最直接的落地场景在于服务机器人的精细化家务处理，尤其是针对桌面、台面等硬质表面上的液体污渍清洁任务。基于此数据集训练的模型可被部署于家用清洁机器人中，使其具备识别污渍区域、规划擦拭路径并实时调整海绵接触姿态与压力的能力；此外，在商业清洁、实验室设备维护甚至医疗环境中的表面消毒操作中，该数据集所蕴含的“观察-行动”闭环学习范式均展现出巨大的迁移潜力，能显著降低人工编程的复杂性，提升机器人对动态环境的适应性。

衍生相关工作

围绕该数据集，一系列衍生的学术工作应运而生，推动了机器人学习社区的协同创新。在LeRobot框架的支持下，研究者们已基于此数据开展了从行为克隆到隐式策略学习的多维度对比实验，并衍生出融合残差连接与注意力机制的改进型模仿学习网络，用于提升长时序操作下的动作一致性。此外，部分工作还在数据集基础上引入对抗性数据增强与经验回放机制，以探索更高效的数据利用方式，促进了策略在不同初始条件与噪声环境下的零样本泛化研究，为构建通用型家务操作智能体奠定了底层数据基石。