brickbot_so101_wall_v1

该数据集是使用LeRobot框架创建的机器人操作数据集，主要用于机器人模仿学习或强化学习任务。数据集中包含100个episodes，共128,597帧，所有帧属于同一个任务（task_index均为0）。机器人类型为so_follower，动作和状态都包含6维关节位置（shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper）。观测包括两个摄像头图像：正面摄像头（front）和腕部摄像头（wrist），分辨率均为480x640，帧率为30fps，视频编码为AV1，格式为mp4。数据以parquet文件存储，视频以mp4文件存储，分别位于data/和videos/目录下，并按chunk和file组织。数据集仅包含一个训练集（split为train），覆盖所有episodes。许可证为Apache-2.0。This dataset is a robot manipulation dataset created using the LeRobot framework, primarily used for robot imitation learning or reinforcement learning tasks. It contains 100 episodes with a total of 128,597 frames, all belonging to the same task (task_index is 0). The robot type is so_follower, and both actions and states include 6-dimensional joint positions (shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper). Observations include two camera images: front camera and wrist camera, both with resolution 480x640, frame rate 30fps, video codec AV1, and format mp4. Data is stored as parquet files, and videos as mp4 files, located in data/ and videos/ directories respectively, organized by chunk and file. The dataset contains only one training split (train), covering all episodes. The license is Apache-2.0.

原始信息汇总

数据集详情：brickbot_so101_wall_v1

基本信息

• 任务类型：机器人技术（robotics）
• 许可证：Apache-2.0
• 数据集创建工具：LeRobot（由Hugging Face开发）
• 主页：尚未提供
• 论文：尚未提供

数据集规模

• 总片段数（Episodes）：100
• 总帧数（Frames）：128,597
• 总任务数：1
• 机器人类型：so_follower
• 采样频率：30 FPS
• 数据划分：训练集包含全部100个片段（索引0至99）

数据特征

数据集包含以下特征字段：

特征名称	数据类型	形状	说明
action	float32	[6]	6维动作向量，对应机械臂关节位置
observation.state	float32	[6]	6维观测状态，对应机械臂关节位置
observation.images.front	视频	480×640×3	前方摄像头RGB视频流
observation.images.wrist	视频	480×640×3	手腕摄像头RGB视频流
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

动作/状态空间

动作和状态均包含6个维度，对应以下机械臂关节：

• shoulder_pan.pos（肩部旋转）
• shoulder_lift.pos（肩部抬升）
• elbow_flex.pos（肘部弯曲）
• wrist_flex.pos（腕部弯曲）
• wrist_roll.pos（腕部旋转）
• gripper.pos（夹爪位置）

视觉数据规格

• 分辨率：480×640像素
• 通道数：3（RGB）
• 视频编码：AV1
• 像素格式：yuv420p
• 帧率：30 FPS
• 视频后端：pyav

数据文件

• 数据格式：Parquet文件
• 数据存储路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频存储路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小：1000帧
• 数据文件大小：约100 MB
• 视频文件大小：约200 MB

可视化

可通过LeRobot的可视化工具预览此数据集，访问地址为：https://huggingface.co/spaces/lerobot/visualize_dataset?path=sammy-labs/brickbot_so101_wall_v1

引用信息

暂无BibTeX引用信息。

搜集汇总

数据集介绍

构建方式

该数据集是运用LeRobot框架精心构建的机器人操作数据集，针对brickbot_so101_wall_v1任务场景采集而成。系统以30帧每秒的频率同步记录六自由度机械臂（含肩部、肘部、腕部及夹爪）的关节状态与动作指令，同时通过前置与腕部双摄像头捕捉分辨率为480×640的RGB视觉流。数据以Parquet格式高效存储结构化状态信息，视觉数据则采用AV1编码的MP4视频文件保存，并巧妙地将数据切分为多个块（chunk），以优化大数据量的加载与访问效率。

特点

数据集汇集了100个演示回合，共计超过12.8万帧数据，标注了单一任务类型。其核心特色在于多模态信息的深度融合，每一帧均同步涵盖6维动作向量、6维关节状态、双视角影像及时间戳等元数据，为机器人学习提供了丰富且精细的信号。独特的数据分块组织方式与编解码视频压缩方案，在保证数据完整性的同时，显著降低了存储与传输开销，彰显了在处理大规模机器人交互数据时的工程匠心。

使用方法

此数据集专为基于模仿学习的机器人技能获取而设计，适用于训练策略网络将视觉观测与本体感觉映射为底层动作指令。使用者可借助LeRobot库便捷地加载数据集，其兼容的Python API能够高效解析Parquet与视频文件，并可利用内置的数据可视化工具对样例进行直观检查。数据集已明确划分训练集，可直接用于端到端模型的训练与验证，加速从原始感知到运动控制的策略学习循环。

背景与挑战

背景概述

brickbot_so101_wall_v1数据集由sammy-labs团队于近年创建，基于HuggingFace的LeRobot框架构建，旨在推动机器人学习领域的发展。该数据集聚焦于使用SO-101机械臂进行砌墙任务，包含100个演示片段，共计128,597帧，涵盖了操作过程中的视觉与状态信息。核心研究问题在于如何通过模仿学习使机器人掌握精细的构建操作，从而为自动化建筑和智能制造提供技术支撑。该数据集因其高保真的传感器数据和标准化的采集流程，在机器人操作学习社区中具有一定影响力，为后续相关研究提供了宝贵的数据基础。

当前挑战

该数据集所解决的领域问题主要涉及机器人操作学习中的模仿学习挑战，特别是在非结构化环境中执行精确的物理交互任务，如砌墙过程中的抓取、放置与对齐。构建过程中，团队面临着多模态数据同步、动作与状态的高频采集以及长时间任务执行稳定性等技术难题。此外，确保演示数据的一致性和多样性，以及处理传感器噪声和环境干扰，也是构建该数据集时的重要挑战。这些因素共同影响了数据集的实用性，并推动了后续研究在数据增强和鲁棒控制方面的探索。

常用场景

经典使用场景

在机器人学习与操控领域，brickbot_so101_wall_v1数据集作为一项宝贵的资源，主要用于训练和评估基于视觉的模仿学习算法。该数据集采集了SO-101机械臂在执行砌墙任务时的多模态观测数据，包括前置摄像头和腕部摄像头的同步视频流，以及机械臂各关节的位置信息。通过提供100个演示片段，包含约12.8万帧的高频数据，研究者能够利用该数据集进行端到端的策略学习，使机器人能够从视觉输入直接映射到关节动作，从而实现精细的物体堆叠与结构搭建。

实际应用

在实际应用层面，该数据集的价值延伸至工业自动化与智能建造领域。基于此数据训练的模型，可赋予机械臂自主完成砖块排列、墙体砌筑等重复性劳动的能力，为建筑现场的自动化转型提供技术支撑。此外，该数据集也可用于开发人机协作场景下的辅助操控系统，例如通过模仿学习使机器人适应不同规格砖块的摆放任务，提升作业效率与安全性，进而推动机器人技能从实验室环境向真实生产场景的落地。

衍生相关工作

该数据集的发布催生了一系列衍生研究，包括基于扩散策略的动作生成模型、视觉-语言模型引导的机器人任务规划，以及域随机化与数据增强技术在模仿学习中的集成应用。研究者常以该数据集为基准，对比不同算法的动作预测精度与泛化能力，其结构化的存储格式与标注方式亦成为后续数据集的规范参照。同时，该数据集与LeRobot生态的深度整合，促进了跨项目的数据复用与模型共享，为构建通用机器人操作基础模型提供了重要的训练材料。