bi-so101-dataset15

该数据集由LeRobot创建，适用于机器人技术领域。数据集采用Apache-2.0许可证，包含10个总片段，6275帧，1个总任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集结构包括训练分割（0:10）。数据路径和视频路径分别指向parquet和mp4文件。特征部分详细描述了动作、观察状态（包括左右机械臂各关节位置和夹持器位置）、左摄像头图像（480x640x3，视频格式）、时间戳、帧索引、片段索引、索引和任务索引的数据类型、形状和名称。

原始信息汇总

数据集概述

基本信息

• 数据集名称: bi-so101-dataset15
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人学

数据集结构

• 总任务数: 1
• 总回合数: 10
• 总帧数: 6275
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 块大小: 1000
• 数据格式: Parquet
• 视频格式: MP4
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据划分: 训练集包含全部10个回合

数据特征

动作

• 数据类型: float32
• 形状: [12]
• 描述: 包含左右机械臂各6个关节的位置指令
  • 左肩水平旋转位置
  • 左肩升降位置
  • 左肘弯曲位置
  • 左腕弯曲位置
  • 左腕旋转位置
  • 左夹爪位置
  • 右肩水平旋转位置
  • 右肩升降位置
  • 右肘弯曲位置
  • 右腕弯曲位置
  • 右腕旋转位置
  • 右夹爪位置

观测状态

• 数据类型: float32
• 形状: [12]
• 描述: 包含左右机械臂各6个关节的当前位置状态，名称与动作特征相同

观测图像

• 特征名称: observation.images.left_camera
• 数据类型: 视频
• 图像尺寸: 480×640×3（高×宽×通道）
• 视频编码: AV1
• 像素格式: yuv420p
• 是否为深度图: 否
• 包含音频: 否

元数据

• 时间戳: float32类型，形状[1]
• 帧索引: int64类型，形状[1]
• 回合索引: int64类型，形状[1]
• 数据索引: int64类型，形状[1]
• 任务索引: int64类型，形状[1]

可视化

• 可视化空间: https://huggingface.co/spaces/lerobot/visualize_dataset?path=mvhk/bi-so101-dataset15

版本信息

• 代码库版本: v3.0
• 机器人类型: bi_so_follower

引用信息

• 论文: 待补充
• 主页: 待补充
• BibTeX引用: 待补充

搜集汇总

数据集介绍

构建方式

在机器人学领域，数据集的构建往往依赖于实际物理系统的交互记录。bi-so101-dataset15的构建依托于LeRobot开源框架，通过双机械臂跟随机器人平台采集真实世界中的操作数据。该数据集以30帧每秒的速率录制，总计包含10个完整操作片段，形成了6275帧的时序记录。数据以分块形式存储于Parquet文件中，每块约1000帧，同时配有对应的视频文件，确保了动作序列与视觉观测的同步对齐。

特点

该数据集的核心特点在于其多维度的异构数据融合。它不仅提供了双机械臂各12个关节的位置状态与动作指令，还包含了左相机采集的480x640分辨率RGB视频流。数据结构严谨，每个数据点均附有时间戳、帧索引与片段索引，支持精细的时序分析。所有特征均以浮点或整型格式规范存储，视频采用AV1编码，在保证数据质量的同时兼顾了存储效率。

使用方法

研究人员可利用该数据集进行机器人模仿学习或行为克隆算法的训练与验证。数据集已预分为训练集，涵盖全部10个片段。通过加载Parquet文件，可便捷访问关节状态、动作及对应的图像观测。配套的视频文件允许直观回放操作过程，便于定性分析。该数据集遵循Apache 2.0许可，支持在机器人控制、多模态感知等研究方向的开源使用与二次开发。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习依赖于高质量、大规模的真实世界交互数据。bi-so101-dataset15数据集应运而生，由HuggingFace的LeRobot项目团队创建，旨在为双臂机器人（bi_so_follower型）提供示范轨迹数据。该数据集收录了10个完整任务片段，总计6275帧，以30帧每秒的速率记录，包含机器人关节状态、动作指令及左相机视觉观测。其核心研究问题聚焦于如何利用真实交互数据提升机器人对复杂任务的泛化能力与自主执行精度，为机器人控制策略的端到端学习提供了宝贵资源。

当前挑战

该数据集致力于解决机器人模仿学习中的领域挑战，即如何从有限的示范数据中学习鲁棒且可泛化的控制策略，尤其是在动态、非结构化环境中实现精确的双臂协调操作。构建过程中面临多重挑战：数据采集需确保机器人动作的平滑性与安全性，避免硬件损伤；多模态数据（如关节状态与高清视频）的同步与对齐要求高精度时间戳；大规模数据（总计约300MB）的高效存储与快速读取需优化序列化格式（如Parquet），同时保持数据的完整性与可复现性。

常用场景

经典使用场景

在机器人学领域，bi-so101-dataset15数据集以其双臂仿人机器人的多模态数据记录，为模仿学习算法的训练与验证提供了经典场景。该数据集整合了关节位置状态、视觉图像及时间序列信息，使得研究者能够基于真实世界交互数据，构建端到端的策略模型，模拟人类操作行为，从而推动机器人自主执行复杂任务的能力发展。

解决学术问题

该数据集有效应对了机器人模仿学习中数据稀缺与多样性不足的学术挑战。通过提供高维度的传感器观测与精确动作标签，它支持了从视觉感知到运动控制的映射研究，解决了传统方法在泛化性与适应性上的局限。其结构化设计促进了跨模态融合算法的探索，为机器人学习范式的理论创新奠定了实证基础。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在深度强化学习与行为克隆算法的改进上。例如，研究者利用其多模态特征开发了视觉-动作联合预测模型，增强了机器人在动态环境中的决策鲁棒性。此外，基于数据集的序列生成方法也推动了机器人轨迹规划技术的进展，为后续大规模仿真数据集的构建提供了参考框架。