fhliang/so101_pour_coffee

该数据集由LeRobot创建，专注于机器人模仿学习任务，具体为“倒水”（pour）任务。数据集包含78个完整任务序列（episodes），总计49671帧数据，帧率为30fps。数据特征包括机器人的动作（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置，共6个浮点数值）、观测状态（与动作相同的6个关节位置）、场景图像（480x640分辨率的RGB视频，编码为av1格式，无音频）、以及时间戳、帧索引、任务索引等元数据。数据集以parquet文件（用于结构化数据）和mp4视频文件存储，适用于机器人控制、行为克隆和模仿学习研究。

This dataset was created using LeRobot and focuses on robotics imitation learning, specifically the pour task. It consists of 78 episodes with a total of 49,671 frames at 30 fps. Features include robot actions (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (same 6 joint positions), scene images (480x640 RGB videos encoded in av1 format, without audio), and metadata such as timestamps, frame indices, and episode indices. The data is stored in parquet files for structured data and mp4 files for videos, suitable for robot control, behavior cloning, and imitation learning research.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人模仿学习任务设计，聚焦于倾倒（pour）这一精细操作。数据源自so_follower型号机器人执行统一倾倒任务时的真实运动记录，共包含78个完整操作回合（episode），累计帧数达49671帧，以30 FPS的帧率进行采样。每个回合的数据以Parquet格式存储于data目录下，并按1000帧为单元进行分块（chunk），确保了大规模数据的高效管理与加载。同步采集的场景视频流采用AV1编码，分辨率为640×480，以MP4格式独立保存，便于视觉模态的提取与对齐。整个数据集仅对应单一任务，所有数据均被划分至训练集（索引0至78），无显式测试或验证分割，体现了其在特定任务上的专注性与完整性。

特点

该数据集在结构上展现出高度一致性与标准化特征。动作空间（action）与观测状态（observation.state）均定义为六维向量，涵盖肩部偏航、肩部俯仰、肘部弯曲、腕部弯曲、腕部滚动及夹爪位置（gripper.pos），直接映射至so_follower机器人的物理关节，为端到端策略学习提供了原生输入。场景图像作为关键视觉观察，其编码参数（如帧率、色彩通道、深度图标志）均在元数据中明确记录，便于下游任务中的数据预处理。此外，数据集中嵌入了时间戳、帧索引、回合索引等辅助信息，支持精确的时间序列分析与分段采样。整体数据规模适中（约300MB），兼顾了多样性展示与计算资源的友好性，非常适合用于验证模仿学习算法的收敛能力与泛化边界。

使用方法

使用者可通过HuggingFace Datasets库直接加载该数据集，利用其内置的LeRobot兼容接口快速获取批次数据。在导入时，需指定config为'default'以匹配其单一配置的存储结构，并通过data_files参数指向对应的Parquet文件模式。建议采用LeRobot框架的Dataset类进行封装，该框架会自动处理视频流与状态数据的同步，以及动作序列的截断与填充。对于模仿学习实验，推荐构建行为克隆（Behavior Cloning）或扩散策略（Diffusion Policy）模型，以观察图像（observation.images.scene）作为输入，预测六维连续动作向量。数据集已预设训练分割，无需额外划分，但使用者可依据回合索引自定义验证子集，以评估模型的跨回合泛化性能。可视化工具亦可在官方HuggingFace Spaces中实时预览，辅助数据探索与质量控制。

背景与挑战

背景概述

在机器人学习领域，模仿学习通过从人类示范中提取行为策略，为自动化精细操作任务提供了关键路径。so101_pour_coffee数据集由研究人员在LeRobot框架下创建，聚焦于机器人倒咖啡这一典型日常生活场景。该数据集包含了78个示范片段，总计近5万帧高帧率视觉与关节状态数据，记录了机器人从抓取到倾倒的完整动作序列。其核心研究问题在于如何通过有限示范使机器人习得鲁棒的物体操控与流体倾倒策略。作为SO-100系列开源项目的一部分，该数据集为低成本灵巧操作研究提供了标准化基准，推动家庭服务机器人在动态环境中的实用性发展。

当前挑战

该数据集所应对的领域挑战主要在于精细流体操控过程中的视觉反馈延迟与动作规划耦合问题，例如咖啡倾倒时需实时调整手腕姿态与夹爪力控以避免溢出。构建过程中，数据采集面临硬件校准难题：由于使用了低成本SO-100机械臂，关节回差与相机视角偏差导致状态记录存在系统性噪声。此外，78个片段虽涵盖不同咖啡液面高度与容器位置，但样本多样性仍不足以覆盖环境扰动（如杯子材质、液体粘稠度变化），现有模型容易产生过拟合。视频与动作数据的高频同步（30fps）对存储与后续处理提出了额外计算效率要求。

常用场景

经典使用场景

so101_pour_coffee数据集聚焦于机器人倒水这一精细操作任务，在模仿学习领域占据重要地位。该数据集收录了78个完整操作片段，包含近5万帧由6自由度机械臂执行的高频动作序列，配合从场景摄像头采集的640×480分辨率视觉信息。研究者利用此数据训练机器人模型，使其能够学习从抓取容器到精确倾倒液体的完整运动轨迹。数据集中统一的行为标签——倒水——使得它在单任务模仿学习研究中成为理想基准，常用于验证行为克隆、逆强化学习等算法的性能。通过观测状态和动作空间的严格对齐，该数据集支持端到端策略的快速原型开发与评估，是机器人操作技能习得研究中不可或缺的标准化资源。

衍生相关工作

基于so101_pour_coffee数据集已衍生出一系列具有里程碑意义的开创性工作。在算法层面，研究者利用此数据提出了基于扩散策略的倒水动作生成模型，显著提升了多峰轨迹分布下的动作保真度；另有工作引入时序对比学习框架，实现了从少量演示中提取核心操作意图的能力。在系统层面，该数据集催生了融合语言指令与视觉演示的多模态倒水系统，使机器人能够根据用户自然语言指导调整倾倒量。此外，结合域随机化技术，研究者构建了从仿真到真实的零样本迁移流水线，解决了数据采集成本高昂的痛点。这些工作不仅验证了数据集在提升策略泛化性与样本效率方面的价值，还揭示了其在构建机器人基础知识库、推动终身学习范式发展中的深远意义。

数据集最近研究

最新研究方向

该数据集聚焦于机器人模仿学习中的倒水操作技能习得，通过LeRobot框架采集了78个示范轨迹，包含近五万帧的关节状态与第一人称视角视觉数据。当前前沿研究方向正围绕少样本模仿学习方法展开，利用此类高精度运动数据结合视觉语言模型实现跨场景泛化。伴随具身智能热潮，倒水作为精细操作基准任务，其数据集为研究抓取与动态控制耦合问题提供了标准化评估平台，推动家庭服务机器人向适应非结构化环境的方向演进。