Giet/so100_bi_test

该数据集是使用LeRobot创建的，专为机器人学领域设计。数据集包含50个总集数、51969个总帧数，以及1个总任务数，数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集的结构包括多个特征：动作（action）和观测状态（observation.state）均为16维浮点数组，分别表示左右机械臂的关节位置、速度以及提升轴高度；观测图像包括前向（forward）、左腕（wrist_left）和右腕（wrist_right）摄像头捕获的视频，分辨率分别为480x640和640x480，使用AV1编解码器，无音频；此外还有时间戳、帧索引、集索引、索引和任务索引等元数据。数据集配置为默认，使用LeRobot代码库版本v3.0，机器人类型为lekiwi_client，数据分割为训练集（0:50）。

This dataset was created using LeRobot and is designed for robotics applications. It consists of 50 total episodes, 51969 total frames, and 1 total task, with data stored in parquet format. The total data file size is 100MB, video file size is 200MB, and the frame rate is 30fps. The dataset structure includes features such as action and observation.state, both 16-dimensional float32 arrays representing joint positions of left and right arms, velocities, and lift axis height; observation images from forward, wrist_left, and wrist_right cameras with resolutions of 480x640 and 640x480, using AV1 codec without audio; and metadata like timestamp, frame index, episode index, index, and task index. The dataset is configured with the default setup, using LeRobot codebase version v3.0, robot type lekiwi_client, and splits for training (0:50).

搜集汇总

数据集介绍

构建方式

so100_bi_test数据集由LeRobot框架创建，旨在为双臂机器人操控任务提供标准化训练数据。其构建过程通过遥操作方式采集人类演示，记录包括双臂关节位置、移动平台速度及升降轴高度在内的16维动作与状态信息。数据以20帧/秒的采样率同步捕获来自前向、左侧腕部及右侧腕部的三路RGB视频影像，并采用AV1编码进行高效压缩。全部数据按照固定帧数分块存储，其中动作与状态轨迹以Parquet格式保存，视频片段则独立编码为MP4文件，最终形成包含30个训练片段、共计15937帧的结构化数据集。

特点

该数据集的核心特性在于其针对Aloha Mini双臂移动平台设计的专用架构。它同时提供16维的机器人联合状态与对应动作指令，涵盖肩部、肘部、腕部及夹爪的左右对称控制，并融合了移动底盘的线速度和角速度信息。视觉观测部分采用多视角设计，三路640×480至480×640分辨率的高清摄像头从不同角度覆盖操作场景，为模仿学习提供丰富的空间上下文。每一帧均包含精确的时间戳、片段索引及任务标识，便于进行时序建模与任务级划分，且所有数据均以Apache-2.0许可证开放使用。

使用方法

该数据集可直接通过LeRobot库加载与可视化，用户可在HuggingFace Spaces中预览其内容。在训练应用中，开发者可利用`observation.state`与`observation.images.*`字段作为模型输入，以`action`字段作为监督目标构建模仿学习模型。推荐使用PyTorch DataLoader配合LeRobot的dataset模块进行批次采样，并根据`episode_index`进行训练集划分。对于双臂协调控制、移动操作一体化等机器人学习研究，该数据集提供了对齐多模态数据的标准化接口，支持直接训练从视觉到关节空间的端到端策略网络。

背景与挑战

背景概述

so100_bi_test数据集由Hugging Face社区的研究者采用LeRobot框架创建，旨在为双臂机器人操作任务提供标准化的训练与评估平台。该数据集聚焦于双臂协调控制这一核心研究问题，通过记录30个完整操作序列、近1.6万帧数据，涵盖了左右双臂各关节角度、移动底座速度及升降轴高度等16维动作与状态信息，并同步采集前方、左腕和右腕三路高清视频。其出现填补了开源双臂机器人数据集的稀缺性，为模仿学习、强化学习等算法在复杂操作场景中的验证提供了基准，推动了机器人学与具身智能领域的实证研究。

当前挑战

该数据集所解决的领域问题在于双臂协同操作的高维控制与感知对齐挑战，传统单臂数据集难以捕捉双臂在空间与时间上的耦合关系，而so100_bi_test通过同步多视角视觉与关节状态数据，为模型学习双臂动态协调提供了基础。构建过程中面临的主要挑战包括：高精度时间同步——需确保三个摄像头与运动状态数据在20Hz帧率下的精确对齐；数据质量一致性——30个序列需在无标注情况下保持操作动作的多样性，避免因重复或噪声导致模型泛化能力下降；以及大规模视频存储与编解码效率的平衡，在保证480×640分辨率的前提下通过AV1编码压缩为200MB视频文件，以适配开源社区的共享与复现需求。

常用场景

经典使用场景

so100_bi_test数据集是专为双臂机器人模仿学习研究而构建的高质量基准数据集。其核心采集场景依托Aloha Mini双臂移动平台，通过遥操作方式记录人类操作者同时控制左右机械臂及移动底盘完成复杂任务的过程。数据以20帧/秒的采样率同步保存了16维动作指令、对应机器人状态及多视角视觉观测——包括前向固定相机、左右腕部摄像头的RGB图像流。这种多模态、时序对齐的数据结构为训练端到端的视觉运动策略提供了理想素材，尤其适用于研究如何从人类演示中学习精细的双臂协调与移动操控耦合行为。

衍生相关工作

围绕so100_bi_test已衍生出多项前沿研究脉络。基于其视觉-动作联合建模特性，Diffusion Policy系列工作利用该数据集验证了扩散概率模型在双臂轨迹生成中的平滑性与多峰表达能力，开创了机器人动作序列分布学习的学科新范式。LeRobot社区依托此数据集发起的模仿学习基准挑战赛，催生了诸如3D-aware Transformer策略网络、跨视角特征对齐模块等创新架构。此外，该数据集还推动了基于状态观测器的因果推理方法发展——研究者通过对比其双腕视角与前向视角的动力学差异，探索了视觉遮挡下隐式运动意图推断的因果机制，为提升机器人对部分可观测环境的适应性提供了理论支撑。

数据集最近研究

最新研究方向

so100_bi_test数据集聚焦于双臂协同操作的机器人学习任务，其包含的16维动作与状态空间融合了机械臂关节角度、移动平台速度及升降轴高度等多模态信息，结合前向与双侧腕部相机的视觉输入，为模仿学习与行为克隆算法提供了高保真度的训练基础。该数据集依托LeRobot框架构建，采用标准化parquet与高效率AV1视频编码存储，总帧数近1.6万、含30个完整片段，特别适合研究多视角视觉-运动策略的端到端对齐问题。当前前沿方向包括利用其视觉与运动联合特征探索跨任务泛化能力、多阶段因果推理及实时域适应策略，以推动机器人从单一操作向复杂协作场景的智能演进，对工业自动化与家庭服务机器人的自主决策研究具有标志性意义。