so100_bi_test

该数据集由LeRobot创建，主要用于机器人技术相关的研究和应用。数据集包含61个episodes，共计81327帧，数据以parquet格式存储，总数据量约为100MB，视频文件约为200MB。数据采集频率为30fps。数据集包含动作和观察数据，其中动作数据包括16个浮点型特征，涉及机器人左右臂的各个关节位置、速度以及提升轴的高度。观察数据包括20个浮点型特征，涵盖机器人左右臂的关节位置、负载、电流以及速度等信息。此外，数据集还提供了来自四个不同视角的视频数据（head_top, head_front, wrist_left, wrist_right），分辨率为480x640，3通道，视频编码为av1。数据集适用于机器人控制、行为模仿等任务。

This dataset was developed by LeRobot and is primarily intended for robotics-related research and applications. It contains 61 episodes, totaling 81,327 frames. The tabular data is stored in Parquet format, with a total size of approximately 100 MB, while the accompanying video files amount to roughly 200 MB. The data is collected at a frequency of 30 fps.

The dataset includes two primary data modalities: action data and observation data. The action data consists of 16 floating-point features, covering the joint positions, velocities, and the height of the lift axis for both the left and right arms of the robot. The observation data comprises 20 floating-point features, including the joint positions, loads, currents, and velocities of the robot's left and right arms, alongside other relevant metrics.

Additionally, the dataset provides video data captured from four distinct viewpoints: head_top, head_front, wrist_left, and wrist_right. These videos have a resolution of 480×640, 3 color channels, and use the AV1 video coding standard.

This dataset is suitable for tasks such as robot control and behavior cloning.

原始信息汇总

数据集概述

基本信息

• 数据集名称: alan11111116/so100_bi_test
• 创建工具: 使用 LeRobot 创建
• 许可协议: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总任务数: 1
• 总情节数: 61
• 总帧数: 81327
• 数据块大小: 1000
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 代码库版本: v3.0
• 机器人类型: lekiwi_client
• 数据分割: 训练集 (0:61)

数据文件路径

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [16]
• 特征名称:
  • arm_left_shoulder_pan.pos
  • arm_left_shoulder_lift.pos
  • arm_left_elbow_flex.pos
  • arm_left_wrist_flex.pos
  • arm_left_wrist_roll.pos
  • arm_left_gripper.pos
  • arm_right_shoulder_pan.pos
  • arm_right_shoulder_lift.pos
  • arm_right_elbow_flex.pos
  • arm_right_wrist_flex.pos
  • arm_right_wrist_roll.pos
  • arm_right_gripper.pos
  • x.vel
  • y.vel
  • theta.vel
  • lift_axis.height_mm

观测状态

• 数据类型: float32
• 形状: [20]
• 特征名称:
  • arm_left_shoulder_pan.pos
  • arm_left_shoulder_lift.pos
  • arm_left_elbow_flex.pos
  • arm_left_wrist_flex.pos
  • arm_left_wrist_roll.pos
  • arm_left_gripper.pos
  • arm_left_gripper.load
  • arm_left_gripper.current
  • arm_right_shoulder_pan.pos
  • arm_right_shoulder_lift.pos
  • arm_right_elbow_flex.pos
  • arm_right_wrist_flex.pos
  • arm_right_wrist_roll.pos
  • arm_right_gripper.pos
  • arm_right_gripper.load
  • arm_right_gripper.current
  • x.vel
  • y.vel
  • theta.vel
  • lift_axis.height_mm

观测图像

包含四个视角的视频数据，具体参数如下：

• 图像数据类型: video
• 图像形状: [480, 640, 3]
• 图像维度名称: height, width, channels
• 视频编码: av1
• 像素格式: yuv420p
• 是否为深度图: false
• 帧率: 30
• 通道数: 3
• 包含音频: false

具体视角:

1. observation.images.head_top (顶部头部视角)
2. observation.images.head_front (前部头部视角)
3. observation.images.wrist_left (左手腕视角)
4. observation.images.wrist_right (右手腕视角)

索引与元数据

• timestamp: 数据类型 float32，形状 [1]
• frame_index: 数据类型 int64，形状 [1]
• episode_index: 数据类型 int64，形状 [1]
• index: 数据类型 int64，形状 [1]
• task_index: 数据类型 int64，形状 [1]

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX 引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建往往依赖于实际硬件平台与软件框架的协同工作。so100_bi_test数据集便是基于LeRobot开源框架，通过lekiwi_client型机器人采集而成。该数据集记录了61个完整任务片段，总计81327帧数据，以每秒30帧的速率捕获，并以分块形式存储于Parquet文件中，确保了数据的高效组织与访问。

特点

该数据集在机器人操作研究中展现出鲜明的多模态特性，不仅包含16维的动作向量与20维的状态观测，还整合了来自机器人头部顶部、前部以及左右腕部的四路视觉视频流，每路视频分辨率均为640x480像素。这种结构提供了丰富的时空上下文信息，尤其适合用于双臂协同操作与视觉伺服控制等复杂任务的算法开发与验证。

使用方法

研究人员可通过加载数据集中预定义的Parquet文件路径，便捷地访问分块存储的动作、状态及视频序列。数据集已统一划分为训练集，支持直接用于机器人策略学习模型的训练。利用其清晰的结构化特征定义，开发者能够高效提取多传感器融合数据，进而推动模仿学习、强化学习等前沿算法在真实机器人平台上的应用与评估。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据集对于推动模仿学习与强化学习算法的进步至关重要。so100_bi_test数据集由HuggingFace的LeRobot项目创建，旨在为双臂机器人操作任务提供丰富的多模态演示数据。该数据集采集自lekiwi_client机器人平台，包含61个完整交互片段，共计超过8万帧数据，融合了来自头部与腕部的多视角视频流、精确的关节状态与动作指令，以及时间戳等元信息。其核心研究问题聚焦于如何利用真实世界的异构传感器数据，训练出能够执行复杂双臂协调操作的通用机器人策略，为机器人行为克隆与策略学习提供了宝贵的实证基础。

当前挑战

该数据集致力于解决机器人操作任务中模仿学习与策略泛化的核心挑战，即如何从高维、异构的多模态观察（如多视角图像与关节状态）中学习出鲁棒且精确的动作策略。构建过程中面临多重挑战：首先，真实机器人数据采集涉及复杂的硬件同步与标定，确保多路视频流与底层状态数据在时间上严格对齐；其次，数据规模受限于物理世界的交互成本，61个片段虽具价值，但相较于深度学习方法的数据需求仍显有限；再者，数据格式的组织与高效存储（如采用分块Parquet文件与视频编码）需平衡访问速度与存储开销；最后，缺乏详尽的论文与主页信息，为理解数据集的精确设计意图与使用场景带来了障碍。

常用场景

解决学术问题

该数据集有效应对了机器人学中数据稀缺与多模态对齐的挑战。通过提供精确的关节状态与同步视觉观测，它支持了端到端策略学习的研究，解决了传统方法中状态估计误差累积的问题。其结构化的动作与观测序列促进了模仿学习算法的性能评估，为双臂协同控制、传感器融合及长期任务规划等核心学术问题提供了实证基础，加速了数据驱动机器人技术的理论进展。

衍生相关工作

围绕该数据集，学术界衍生了一系列经典研究工作，主要集中在多模态机器人学习框架的开发。例如，基于LeRobot平台的研究者利用其数据探索了视觉-动作联合表征学习、跨视角策略泛化以及分层强化学习等方法。这些工作不仅优化了双臂机器人的任务性能，还促进了开源机器人生态的发展，为后续大规模机器人数据集的构建与标准化提供了重要参考。