bi_so101_pick_dolls_demo

该数据集由LeRobot创建，主要用于机器人技术领域。包含129个episodes，总计89922帧数据，数据以parquet格式存储。数据集详细记录了机器人动作（包括左右肩、肘、腕和夹持器的位置）、状态观察（与动作相同的12个关节位置）、以及右、左、前三个视角的图像数据（分辨率480x640，帧率30fps）。此外，还包含时间戳、帧索引、episode索引等元数据。

原始信息汇总

数据集概述

基本信息

• 数据集名称: bi_so101_pick_dolls_demo
• 任务类别: 机器人学
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总情节数: 129
• 总帧数: 89922
• 总任务数: 1
• 数据块大小: 1000帧
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS
• 数据划分: 训练集 (0:129)

数据结构与特征

数据存储于Parquet文件，路径格式为：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet。 视频存储于MP4文件，路径格式为：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。

特征字段

1. 动作

   • 数据类型: float32
   • 形状: [12]
   • 内容: 左右机械臂各6个关节的位置（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）。

2. 观测状态

   • 数据类型: float32
   • 形状: [12]
   • 内容: 与动作字段相同的12个关节位置。

3. 观测图像

   • 右视图、左视图、前视图
   • 数据类型: 视频
   • 形状: [480, 640, 3] (高度，宽度，通道)
   • 视频信息:
     • 编码: AV1
     • 像素格式: yuv420p
     • 非深度图
     • 帧率: 30 FPS
     • 通道: 3
     • 无音频

4. 元数据

   • 时间戳: float32, 形状[1]
   • 帧索引: int64, 形状[1]
   • 情节索引: int64, 形状[1]
   • 索引: int64, 形状[1]
   • 任务索引: int64, 形状[1]

机器人信息

• 机器人类型: bi_so101_follower
• 代码库版本: v3.0

引用信息

• 主页: 未提供
• 论文: 未提供
• BibTeX引用: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作领域，bi_so101_pick_dolls_demo数据集通过LeRobot平台构建，记录了双手机器人执行抓取玩偶任务的演示数据。该数据集包含129个完整任务片段，总计近9万帧数据，以30帧每秒的速率采集。数据以分块Parquet文件形式存储，每块约1000帧，并辅以同步的多视角视频流，确保了动作序列与视觉观测的高保真对齐。

特点

该数据集的核心特征在于其多维度的异构数据融合。不仅提供了12维的双臂关节位置作为动作与状态观测，还集成了左、右、前三个视角的RGB视频流，分辨率统一为640x480。这种结构化的特征设计支持端到端的模仿学习与策略评估，同时时间戳、帧索引与任务索引的完整标注，为时序分析与任务分解研究奠定了坚实基础。

使用方法

研究者可通过HuggingFace数据集库直接加载该数据集，利用其预定义的数据分割进行模型训练与验证。数据以字典形式组织，键值对应动作、观测、图像及元数据字段，便于提取多模态输入。用户可结合LeRobot工具链进行数据可视化、轨迹回放或用于训练基于视觉的机器人控制模型，推动双臂协调操作算法的实际应用。

背景与挑战

背景概述

在机器人学领域，模仿学习作为一种高效获取复杂技能的方法，依赖于高质量、大规模的真实世界交互数据。bi_so101_pick_dolls_demo数据集正是为这一目标而构建，它由LeRobot平台支持创建，专注于双手机器人执行拾取玩偶任务的演示数据。该数据集收录了129个完整交互序列，包含近九万帧的多视角视觉观测与精确的关节动作记录，旨在为机器人操作策略的端到端学习提供丰富的训练素材。通过整合高维度的状态空间与多模态感知输入，该数据集为推进双臂协调操作、精细物体操控等核心研究问题提供了关键的数据基础，有望加速现实场景中灵巧机器人技能的开发与泛化。

当前挑战

该数据集致力于解决机器人模仿学习中从高维感知到连续动作映射的挑战，其核心任务在于让机器人通过观察人类演示，学会执行复杂的双臂拾取操作。这一过程面临动作序列的长时依赖建模、多视角视觉信息的有效融合以及跨场景的技能泛化等难题。在构建层面，数据采集需确保双手机器人动作的同步性与精确性，同时处理多路高清视频流带来的巨大存储与计算负荷。此外，真实环境中的光照变化、物体位姿不确定性以及机械臂的动态约束，均对数据的一致性与质量提出了严峻考验，要求采集系统具备高度的鲁棒性与校准精度。

常用场景

经典使用场景

在机器人操作学习领域，bi_so101_pick_dolls_demo数据集为双臂机器人抓取任务提供了丰富的示范数据。该数据集通过记录机器人执行拾取玩偶动作时的关节位置、图像观测与时间戳，构建了一个多模态交互环境。研究人员可借此训练模仿学习或强化学习模型，使机器人能够从视觉输入中推断动作策略，实现精准的物体抓取与操控。

解决学术问题

该数据集有效应对了机器人学中示范数据稀缺与多模态对齐的挑战。通过提供高维度的关节状态与多视角视频序列，它支持端到端策略学习的研究，解决了从原始感知到连续动作映射的复杂问题。其结构化标注促进了跨模态表征学习的发展，为机器人泛化能力与样本效率的提升奠定了数据基础。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在机器人模仿学习与视觉运动控制方向。例如，基于行为克隆的方法利用序列数据训练策略网络，实现动作复现；而逆强化学习研究则从示范中推断奖励函数，以优化抓取行为。此外，多视角视觉表征学习也借助此类数据探索跨视角一致性，提升模型对物体姿态的感知能力。