bi-so101-dataset14

该数据集由LeRobot项目创建，主要用于机器人技术领域。数据集采用Apache-2.0许可证，包含10个完整的情节（episodes），共计4182帧数据，涉及1个任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集结构包括动作数据（12个浮点型关节位置）、观察状态（12个浮点型关节位置）、左摄像头图像（480x640x3的视频数据）以及时间戳、帧索引、情节索引等元数据。数据适用于机器人控制、行为模仿等任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称: bi-so101-dataset14
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模

• 总情节数: 10
• 总帧数: 4182
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 30 FPS
• 数据分割: 训练集 (0:10)

数据结构

• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [12]
• 名称:
  • left_shoulder_pan.pos
  • left_shoulder_lift.pos
  • left_elbow_flex.pos
  • left_wrist_flex.pos
  • left_wrist_roll.pos
  • left_gripper.pos
  • right_shoulder_pan.pos
  • right_shoulder_lift.pos
  • right_elbow_flex.pos
  • right_wrist_flex.pos
  • right_wrist_roll.pos
  • right_gripper.pos

观测状态

• 数据类型: float32
• 形状: [12]
• 名称: 与动作特征相同

观测图像 (左相机)

• 数据类型: video
• 形状: [480, 640, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

元数据

• 时间戳: float32, 形状 [1]
• 帧索引: int64, 形状 [1]
• 情节索引: int64, 形状 [1]
• 索引: int64, 形状 [1]
• 任务索引: int64, 形状 [1]

机器人类型

• 机器人类型: bi_so_follower

可视化

• 可视化空间: https://huggingface.co/spaces/lerobot/visualize_dataset?path=mvhk/bi-so101-dataset14

搜集汇总

数据集介绍

构建方式

在机器人学领域，高质量的数据集对于推动模仿学习与强化学习算法的进展至关重要。bi-so101-dataset14依托LeRobot开源框架构建，通过记录双手机器人执行特定任务的过程来采集数据。该数据集以Parquet文件格式组织，共包含10个完整的情节，总计4182帧观测数据，并以30帧每秒的速率同步存储了机器人的关节状态、动作指令以及来自左摄像头的视觉图像，确保了时序数据的高保真度与对齐性。

使用方法

研究人员可通过Hugging Face平台直接访问或使用LeRobot工具链加载此数据集。数据集已预设训练集划分，涵盖全部10个情节。典型的应用流程包括利用`observation.state`和`observation.images.left_camera`作为模型输入，以`action`作为监督信号，训练机器人执行相应的关节运动控制。其清晰的元数据结构和标准化的数据格式，能够无缝集成到现有的机器学习管道中，用于行为克隆、离线强化学习等算法的开发与评估。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习依赖于高质量、结构化的交互数据集以训练智能体执行复杂任务。bi-so101-dataset14作为LeRobot项目框架下生成的双臂机器人数据集，聚焦于双臂协调操作任务，其核心研究问题在于如何通过记录机器人的状态观测、动作指令及视觉信息，构建可用于策略学习的多模态轨迹数据。该数据集由HuggingFace社区基于开源机器人平台创建，旨在推动机器人控制算法的泛化能力与样本效率研究，为双臂协同操作任务的仿真与真实世界迁移提供基础数据支持。

当前挑战

该数据集旨在解决双臂机器人模仿学习中的动作序列生成与状态预测挑战，其核心问题在于高维连续动作空间下的精确轨迹模仿与多传感器信息融合。构建过程中面临数据采集的复杂性，需同步记录12维关节位置、视觉图像及时间戳，确保数据对齐与一致性；同时，数据集规模有限，仅包含10个任务片段，可能影响模型泛化性能，且缺乏详尽的元数据标注与任务描述，为后续算法评估与比较带来一定困难。

常用场景

经典使用场景

在机器人学习领域，bi-so101-dataset14作为双机械臂跟随任务的专用数据集，其经典使用场景聚焦于模仿学习与行为克隆算法的训练与验证。数据集通过记录双机械臂在特定任务中的关节位置状态与视觉观测数据，为研究者提供了丰富的轨迹样本，使得算法能够学习从视觉输入到动作输出的映射关系。这一场景在机器人控制研究中具有基础性地位，尤其适用于需要精细协调双臂动作的复杂操作任务，如物体抓取与装配。

解决学术问题

该数据集有效解决了机器人模仿学习中数据稀缺与质量参差的常见学术问题。通过提供结构化的多模态数据，包括高帧率视频与精确的关节状态序列，它支持了端到端策略学习模型的开发，降低了现实世界机器人数据收集的难度与成本。其意义在于推动了视觉-动作联合建模的研究，促进了模仿学习算法在真实机器人平台上的泛化能力与鲁棒性提升，为自动化控制系统的智能化演进奠定了数据基础。

实际应用

在实际应用层面，bi-so101-dataset14可广泛应用于工业自动化与辅助机器人系统。基于该数据集训练的模型能够赋能双机械臂执行协同作业，例如在生产线中进行精密部件组装或物料搬运。其视觉与状态数据的结合，使得机器人能够适应动态环境，实现更灵活的任务执行，从而提升制造业的效率与安全性。此外，该数据集也为服务机器人的人机交互任务提供了技术支撑，拓展了机器人在医疗、物流等领域的应用潜力。

数据集最近研究

最新研究方向

在机器人学习领域，双手机器人操作任务正成为研究热点，bi-so101-dataset14作为基于LeRobot平台构建的数据集，其包含的双臂状态与视觉观测数据为模仿学习与强化学习算法提供了关键支撑。当前前沿研究聚焦于多模态感知融合，利用该数据集中的关节位置与左相机图像序列，探索端到端的策略生成模型，以提升机器人在复杂环境中的自主操作能力。随着具身智能的兴起，此类高质量真实世界交互数据正推动仿真到实物的迁移学习，降低机器人部署成本，对工业自动化与家庭服务机器人的发展具有深远意义。