Alkatt/so_101_WhiteBoatToBowl_v1

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=Alkatt/so_101_WhiteBoatToBowl_v1"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 20, "total_frames": 7995, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:20" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera3": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```--- 许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot 配置项： - 配置名称：默认 数据文件：data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 可点击<a href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=Alkatt/so_101_WhiteBoatToBowl_v1">此处</a>可视化本数据集，配套的可视化徽章分别适配亮色模式与暗色模式：<img src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>（亮色模式）与<img src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>（暗色模式）。 ## 数据集说明 - **项目主页**：[需补充更多信息] - **相关论文**：[需补充更多信息] - **许可证**：Apache-2.0 ## 数据集结构 `meta/info.json`文件内容如下： json { "代码库版本": "v3.0", "机器人类型": "so_follower", "总回合数": 20, "总帧数": 7995, "总任务数": 1, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "帧率": 30, "数据集划分": { "训练集": "0:20" }, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "动作": { "数据类型": "float32", "维度名称": [ "肩平移关节位置（shoulder_pan.pos）", "肩升降关节位置（shoulder_lift.pos）", "肘屈曲关节位置（elbow_flex.pos）", "腕屈曲关节位置（wrist_flex.pos）", "腕旋转关节位置（wrist_roll.pos）", "夹爪位置（gripper.pos）" ], "形状": [6] }, "观测.状态": { "数据类型": "float32", "维度名称": [ "肩平移关节位置（shoulder_pan.pos）", "肩升降关节位置（shoulder_lift.pos）", "肘屈曲关节位置（elbow_flex.pos）", "腕屈曲关节位置（wrist_flex.pos）", "腕旋转关节位置（wrist_roll.pos）", "夹爪位置（gripper.pos）" ], "形状": [6] }, "观测.图像.相机1": { "数据类型": "视频", "形状": [480, 640, 3], "维度名称": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "观测.图像.相机2": { "数据类型": "视频", "形状": [480, 640, 3], "维度名称": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "观测.图像.相机3": { "数据类型": "视频", "形状": [480, 640, 3], "维度名称": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "时间戳": { "数据类型": "float32", "形状": [1], "维度名称": null }, "帧索引": { "数据类型": "int64", "形状": [1], "维度名称": null }, "回合索引": { "数据类型": "int64", "形状": [1], "维度名称": null }, "全局索引": { "数据类型": "int64", "形状": [1], "维度名称": null }, "任务索引": { "数据类型": "int64", "形状": [1], "维度名称": null } } } ## 引用 **BibTeX格式引用：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

so_101_WhiteBoatToBowl_v1数据集基于LeRobot框架构建，专为机器人模仿学习任务设计。该数据集通过远程操控so_follower型机器人，在真实物理环境中执行“将白色小船放入碗中”这一单一任务，共计采集20个演示回合，涵盖7995帧时序数据。数据以Parquet格式存储，并同步记录三台不同视角的RGB摄像头视频流（AV1编码，分辨率480×640，帧率30 FPS），同时保留机器人六维关节空间的状态与动作序列，包括肩部、肘部、腕部及夹爪的位置信息。数据集按1000帧为单位进行分块，训练集与全集一致，便于高效加载与批处理。

特点

该数据集的突出特点在于其针对机器人精细操作任务的高质量记录与多模态融合。首先，数据包含6自由度的关节动作与状态，覆盖肩关节的旋转与俯仰、肘部屈伸、腕部弯曲与旋转以及夹爪开合，为学习复杂操作策略提供了完整的运动学信息。其次，三台RCE高解析度摄像头从不同方位同步捕捉视觉场景，支持基于视觉的端到端学习与状态估计。此外，数据以30 Hz高频采样，时间戳与帧索引精确对齐，确保了时序关系的严谨性。20个演示回合虽数量有限，但为小样本模仿学习场景提供了典型范例，且全部采用Apache-2.0开源协议，便于学术研究与算法复现。

使用方法

本数据集适用于机器人学习领域的模仿学习与行为克隆任务。使用者可通过LeRobot工具库便捷加载，首先将数据按episode索引分片，提取action与observation.state作为动作与状态标签，并利用camera1至camera3的视觉流作为观测输入。训练时，建议将20个回合按时间顺序组织，亦可固定随机种子以划分验证集。模型输入可设计为当前帧的状态与多视角图像，输出则预测连续动作向量。由于数据集已内置元信息与数据结构，通过指定chunk索引与parquet文件路径即可高效读取，并支持利用Hugging Face Spaces进行可视化预览，便于快速验证模型效果。

背景与挑战

背景概述

so_101_WhiteBoatToBowl_v1数据集由Hugging Face社区与LeRobot框架共同创建，于近期发布，旨在推动机器人操作任务的模仿学习研究。该数据集聚焦于将白色小船从初始位置转移到碗中的精细操作任务，核心研究问题是如何通过多模态传感器数据（包括6自由度关节状态与三视角视觉图像）实现机器人的高效模仿学习。数据集由20个演示回合组成，包含近8000帧高精度运动与视觉数据，为机器人技能迁移和泛化提供了标准化训练基准。其采用Apache-2.0许可证开放，依托LeRobot平台的可视化与重用工具，显著降低了机器人学习研究的入门门槛，对推动具身智能领域的数据驱动方法具有重要影响力。

当前挑战

该数据集在领域层面主要解决机器人精细操作任务中的模仿学习难题，即如何从少量人类演示中提取关键动作策略，并泛化至不同场景。当前挑战包括：1) 数据集仅包含单一任务（白色小船转移至碗中）的20个回合，样本量有限，模型易过拟合，需结合数据增强或迁移学习提升泛化能力；2) 动作空间为6自由度关节控制，高维连续动作输出对策略网络的稳定性和精度提出严苛要求；3) 三视角视频数据提供丰富视觉信息，但有效融合多模态特征（如时序对齐与视角转换）仍是技术难点；4) 构建过程中，数据采集依赖人工遥操作演示，确保演示质量与一致性需大量人力，且缺乏自动校验机制，可能引入噪声轨迹，影响后续训练效果。

常用场景

经典使用场景

在机器人学习与操控领域，so_101_WhiteBoatToBowl_v1数据集为模仿学习与行为克隆算法提供了精细且可复现的基准。该数据集记录了SO-100双臂协作机器人执行将白色物体从船只中移至碗内的典型任务，包含20个演示片段、近8000帧高分辨率多视角视觉观测与6维关节状态及动作序列。研究者可利用这些配对的状态-动作数据训练端到端的视觉运动策略，通过监督学习方式让机器人模仿人类示教动作，探索在复杂刚性物体抓取与放置任务中的泛化能力与鲁棒性。由于其任务定义清晰、数据规模适中、传感器模态丰富，该数据集成为验证新型模仿学习架构、数据增强手段以及域随机化方法的理想实验场。

解决学术问题

so_101_WhiteBoatToBowl_v1数据集主要解决了精细操作场景下稀疏奖励与高维状态空间带来的策略学习困难。传统强化学习在面对多自由度机械臂的连续动作控制时，常因探索效率低下而难以收敛至有效操作；而该数据集提供的专家演示轨迹，使得行为克隆与逆强化学习等方法能够绕过奖励设计瓶颈，直接学习具有高度协调性的操控策略。此外，数据集包含的六自由度关节位姿与来自三个摄像头的实时视觉流，为研究多模态感知融合、状态表征学习以及视觉-运动映射关系提供了结构化素材。通过使用该数据集，学术界得以深入探讨模仿学习中的数据分布覆盖、动作误差累积以及策略迁移等核心议题，进而推动灵巧操作基础理论的发展。

衍生相关工作

基于so_101_WhiteBoatToBowl_v1数据集衍生的经典工作主要集中在行为克隆的鲁棒改进与多任务迁移学习领域。研究人员利用该数据集验证了扩散策略（Diffusion Policy）在连续动作空间中的有效性，通过引入条件去噪过程生成平滑且多样化的操控轨迹，显著提升了在类似操作任务上对简单分布外干扰的抵抗能力。也有工作在此基础上开展视觉预训练编码器的迁移学习，将大规模视频数据中学到的通用特征微调至本数据集的视觉输入，实现样本效率的大幅提升。此外，基于该数据集的多视角信息，部分学者探索了三维场景表示如神经辐射场（NeRF）与隐式策略网络的结合，使机器人能够在部分遮挡条件下仍能完成精确操作。这些衍生成果不仅丰富了模仿学习的方法论体系，也推动了机器人数据驱动范式在工业与科研中的普及。