fhliang/so101_pour_train_4x_scene

该数据集使用LeRobot创建，专注于机器人倒水任务，适用于模仿学习和视觉语言动作微调。数据集包含225个episodes，总计148,530帧，采样率为30 fps。机器人类型为so_follower，数据特征包括动作（如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部滚动和夹爪位置）和观测状态（相同关节位置），以及场景图像观测（480x640分辨率，RGB三通道）。此外，还包含时间戳、帧索引、episode索引等元数据。数据以Parquet格式存储，视频以MP4格式提供，总数据大小约为100 MB，视频大小约为200 MB。This dataset was created using LeRobot and focuses on a robot pouring task, suitable for imitation learning and visual-language-action fine-tuning. It includes 225 episodes with a total of 148,530 frames at 30 fps. The robot type is so_follower, and features encompass actions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper positions) and observation states (same joint positions), along with scene image observations (480x640 resolution, RGB three channels). Additionally, metadata such as timestamps, frame indices, episode indices are included. Data is stored in Parquet format, videos in MP4 format, with total data size around 100 MB and video size around 200 MB.

搜集汇总

数据集介绍

构建方式

so101_pour_train_4x_scene数据集是面向机器人模仿学习领域构建的高质量训练资源，依托LeRobot框架生成，专注于倒水（pour）这一精细操作任务。数据集由225个演示片段构成，共计148,530帧，帧率为30 FPS，数据以Parquet格式存储，视频以AV1编解码的MP4文件保存。每个片段涵盖从起始状态到任务完成的完整轨迹，状态与动作空间均包含六维关节信息，分别为肩部旋转、肩部升降、肘部弯曲、腕部屈伸、腕部回转及夹爪开合。场景图像的分辨率为480×640像素，提供三通道彩色视觉信息，经标准化处理后以chunk形式组织，便于大规模数据的高效加载与批次处理。

特点

该数据集的核心特色在于其针对单一倒水任务的高密度多模态融合。视觉与状态数据以30 Hz同步采集，确保动作与观测之间的时序一致性。总帧数逾14万，覆盖了丰富的操作细节，适用于学习细粒度的夹爪轨迹与物体交互模式。所有片段均采用同一分片策略，便于训练集的随机打乱与批次划分。此外，数据集的许可证为Apache-2.0，支持开放的学术研究与商业应用。其设计兼容LeRobot等主流机器人学习框架，为后续迁移学习或视觉-语言-动作模型的微调提供了坚实的基准。

使用方法

用户可通过LeRobot库直接加载该数据集，调用其内置的数据加载器即可获取标准化的观测、动作及元数据。数据集已预设训练集划分，覆盖全部225个片段。在应用时，推荐结合LeRobot的TensorDict数据格式进行迭代，以便高效处理多模态输入。对于视觉-语言-动作模型（VLA）的微调，可将场景图像作为视觉输入，六维状态向量作为机器人当前配置文件，6维动作向量作为预测目标。同时，数据集的chunk模式支持分布式或流式读取，适用于大规模并行训练场景。更多可视化与调试信息，可通过HuggingFace官方数据集查看器实时浏览各演示片段的内容。

背景与挑战

背景概述

在具身智能与机器人学习领域，模仿学习（Imitation Learning）与视觉-语言-动作（VLA）微调技术的发展要求高质量、多模态的机器人操作数据集作为支撑。so101_pour_train_4x_scene数据集由fhliang团队基于LeRobot框架创建，专为机器人倒水任务设计，收录了225个演示回合、共计148530帧、以30帧/秒采集的多模态数据。该数据集核心研究问题在于如何通过标准化、可复现的遥操作数据（包含6自由度关节动作、状态观测及480×640分辨率的场景视频）推动机器人精细操作技能的泛化学习。作为so101系列数据集的关键组成部分，它为研究倒水这一日常任务的机械臂控制策略提供了密度高、标注规范的基础资源，对结合视觉与动作的模仿学习领域具有重要参考价值。

当前挑战

该数据集核心解决的领域挑战是机器人精确液体倾倒操作中的技能泛化难题——倒水动作要求机械臂在连续变化的重力与流体动力学条件下实现平稳、准确的关节轨迹规划，且需适应不同容器形状与高度，这对基于固定演示的数据驱动学习构成显著障碍。在数据集构建过程中，挑战体现为多维度：通过遥操作采集225个高质量演示时，需保证动作的一致性与无冗余误差，同时同步记录6维关节状态、场景视频及动作序列；数据存储采用parquet与AV1编码视频格式，虽利于压缩但需在100MB结构化数据与200MB视频数据中维持帧-动作对齐精度；此外，仅单一倒水任务、30FPS采集频率下，如何从有限回合中提取可迁移的策略表征，避免过度拟合演示特征，也是数据集应用层面的核心挑战。

常用场景

经典使用场景

so101_pour_train_4x_scene数据集专为机器人模仿学习与视觉-语言-动作联合微调而构建，其核心应用场景聚焦于倒水任务的技能习得。通过记录SO-100双臂协作机器人执行液体倾倒操作时的六维关节动作序列与场景摄像头捕捉的实时视觉流，该数据集为研究者提供了从原始感知到精细动作控制的完整映射范例。其225个演示片段、逾14万帧数据及30Hz的高采样频率，使得模型能够捕捉倒水过程中手腕旋转、夹爪开合与液流倾角间的微妙时序关联，成为验证行为克隆、逆强化学习等算法在灵巧操作任务中泛化能力的基准平台。

解决学术问题

该数据集有效解决了机器人操作领域长时域、高精度任务中示范数据匮乏与场景多样性不足的核心困境。传统仿真数据集难以模拟真实液体物理特性，而实际采集又面临标注成本高昂的瓶颈——so101_pour_train_4x_scene通过标准化六自由度关节状态与场景图像的对齐存储，为模仿学习中的维度灾难与因果混淆问题提供了可控实验环境。其结构化设计使得学术研究者得以量化分析视觉特征漂移对动作预测误差的影响，推动离线策略学习在非刚体操作任务中的理论突破，尤其为研究观测噪声下的鲁棒控制策略开辟了实证路径。

衍生相关工作

该数据集直接催生了面向灵巧操作的VLA（视觉-语言-动作）模型微调管线，推动LeRobot社区围绕SO-100平台开发出多模态特征对齐方法，例如通过对比学习增强场景图像与关节状态间的表征一致性。后续工作进一步将倒水任务扩展至非结构化环境，衍生出基于域随机化的数据增强策略与适配不同容器几何形状的元学习框架。此外，数据集的高频时序特性为研究操作过程中的因果动态分解提供了素材，相关论文开始探索利用状态空间模型分离倒水动作中的刚性位移与流体响应成分，这些进展共同构筑了机器人技能泛化研究的坚实基石。