kawamura101010/ki_task_21_bi_0

该数据集使用LeRobot创建，是一个机器人控制数据集，专注于双手机器人操作任务。数据集包含11个episodes，总计20203帧，帧率为30fps。数据特征包括动作（12个关节位置，对应左右手臂各6个关节）、观测状态（与动作相同的12个关节位置），以及来自三个摄像头的图像观测：左前、左腕和右腕，每个视频为360x640分辨率、3通道、h264编码。此外，还包含时间戳、帧索引、episode索引等元数据。数据集用于训练和评估机器人模仿学习或强化学习模型，适用于双手机器人的跟随或操作任务。This dataset was created using LeRobot and is a robotics control dataset focused on dual-arm robot manipulation tasks. It contains 11 episodes with a total of 20,203 frames at 30fps. The features include actions (12 joint positions for left and right arms, 6 joints each), observation states (same 12 joint positions), and image observations from three cameras: left front, left wrist, and right wrist, each with video format at 360x640 resolution, 3 channels, and h264 encoding. Additionally, metadata such as timestamps, frame indices, and episode indices are included. The dataset is intended for training and evaluating robot imitation learning or reinforcement learning models, suitable for following or manipulation tasks with dual-arm robots.

搜集汇总

数据集介绍

构建方式

该数据集隶属于LeRobot生态系统，专为具身智能领域的机器人操作任务设计。其构建依托于HuggingFace的LeRobot框架，通过采集双手协同操作的演示数据而生成。数据集共收录11个完整演示片段（episodes），总帧数20203帧，涵盖单一操作任务。数据以Parquet格式存储，视频则以H.264编码的MP4格式保存，帧率为30 FPS。数据路径严格遵循'data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet'的层级结构，视频文件则按视角分目录存放于'videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4'，确保了数据的模块化与可扩展性。

特点

此数据集的核心特点在于其多模态感知与高维动作空间的融合。观测状态（observation.state）与动作（action）均为12维向量，精确描述SO型双臂协同机器人的各关节位置，包括双侧肩部、肘部、腕部及夹爪的运动轨迹。视觉模态方面，数据集提供了三个视角的同步视频流：左前全局视角、左手腕相机及右手腕相机，每个视角均为360x640像素的彩色图像（3通道），增强了环境与末端执行器的感知能力。系统还记录时间戳、帧索引与任务索引等元数据，便于轨迹对齐与任务级分析。数据集划分为单一训练集，覆盖全部演示数据，为模仿学习提供了基础。

使用方法

研究人员可通过LeRobot库直接加载该数据集，利用其标准API进行数据迭代与预处理。加载后，可获取每一时间步的关节状态、多维动作指令及多视角图像帧，适用于训练基于视觉的模仿学习模型或行为克隆算法。视频数据支持动态采样与帧序列提取，结合30 FPS的精确帧率，可实现时间连续性的建模。建议将动作与状态数据归一化至标准范围，并利用'episode_index'进行轨迹划分，以构建批量训练样本。对于视觉输入，可裁剪或缩放图像以适应不同的神经网络架构。此外，数据集的Apache-2.0许可友好，便于学术及商业场景下的二次开发与模型评估。

背景与挑战

背景概述

机器人操控领域的研究长期受限于高质量、多模态训练数据的匮乏，特别是针对双臂协作任务的精细动作数据集尤为稀缺。ki_task_21_bi_0数据集由Hugging Face LeRobot社区构建，基于双臂机器人平台（bi_so_follower）采集，收录了11个操作演示片段，共计20,203帧数据，涵盖单任务场景下的双臂协同动作。该数据集以30帧每秒的频率同步记录12维关节动作与多视角视觉观测，包括左前、左腕和右腕摄像头提供的360x640分辨率视频流，为模仿学习与行为克隆算法提供了结构化的训练素材。作为LeRobot生态的组成部分，这一资源旨在降低机器人数据获取门槛，推动双臂精细操作技能的学习与泛化研究，在机器人学习领域具有基础性支撑作用。

当前挑战

该数据集面临的核心挑战集中于双臂协同操作的复杂建模与数据规模约束。在领域问题层面，双臂机器人需同时协调左右各6个自由度的关节运动（如肩部俯仰、肘部弯曲与腕部旋转），其高维动作空间耦合了重力补偿与动态平衡控制，传统单臂控制方法难以直接迁移；同时，多视角视觉反馈（左前、左腕、右腕）存在局部遮挡与视差问题，增加了状态估计与动作映射的难度。在构建过程中，数据采集依赖遥操作演示，每次示范需精确复现双臂时序一致性，11个片段的总帧数有限，可能导致模型在未见环境或物体位姿下过拟合。此外，缺失引用论文与任务类型描述，削弱了其可复现性与领域标准化对比能力。

常用场景

经典使用场景

在机器人学习与具身智能领域，ki_task_21_bi_0数据集专为双臂协作任务而设计，聚焦于‘双机器人协同操作’这一经典场景。该数据集包含11个完整演示片段，共计超过两万帧高频率时序数据（30 FPS），记录了一只双臂跟随机器人（bi_so_follower）在特定任务中的动作序列与状态信息。每条轨迹同时存储了12维关节空间动作指令、对应的观测状态以及多视角视觉图像（左前、左腕、右腕），为模仿学习和行为克隆提供了丰富的多模态训练材料。研究者可基于此数据集训练模型学习从视觉输入到双臂关节控制的映射，从而复现精准的协同操作行为。

衍生相关工作

围绕双臂协作数据集的构建与利用，学界已涌现多项经典工作。首先，基于此数据集衍生了多种数据增强与轨迹插值方法，以扩充有限演示的覆盖面。例如，部分研究利用扩散模型（Diffusion Policy）生成新的动作序列，在不额外采集数据的前提下提升策略鲁棒性。其次，注意力机制与Transformer架构被引入双臂任务建模中，相关工作开发了跨臂注意力模块，以捕捉左右臂动作间的隐式依赖关系。此外，该数据集也是验证‘预训练-微调’范式的理想平台，一些工作基于大规模单臂数据预训练，再用此数据集微调以适配双臂场景，显著减少了从零训练所需的样本量。

数据集最近研究

最新研究方向

在机器人学习领域，ki_task_21_bi_0数据集聚焦于双臂协同操控任务，其采集的12维动作空间与多视角视觉观测数据，为模仿学习和强化学习提供了高保真训练样本。当前前沿研究方向集中于利用该数据集探索基于视觉-运动联合表征的端到端策略学习，尤其是通过大规模预训练模型泛化至未知物体与动态环境。值得注意的是，该数据集的构建与开源机器人平台LeRobot深度耦合，呼应了学界对标准化、可复现机器人数据集的需求，有助于推动具身智能从实验室走向真实应用场景，加速了机器人操作技能的跨任务迁移研究。