bi_so_101_clothes

该数据集是一个用于机器人领域的开源数据集，使用LeRobot工具创建，专门针对bi_so_follower类型的双机械臂机器人系统。它包含200个完整的任务执行序列（episodes），总计84395帧数据，涵盖1个任务。数据以分块形式存储，每块包含1000个数据点。数据总大小约为100MB，关联的视频文件总大小约为200MB，视频帧率为25fps。数据集仅包含训练集。每个样本包含以下核心字段：1. 动作（action）：一个12维的浮点数组，表示对左右机械臂各6个关节（包括肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的位置控制指令。2. 状态观测（observation.state）：一个12维的浮点数组，结构与动作字段相同，可能表示机器人各关节的实时位置状态。3. 图像观测（observation.images）：包含三个视角的RGB视频流，分别来自左腕摄像头、右腕摄像头和右上方摄像头；所有视频分辨率均为480x640，3通道，采用av1编码，yuv420p像素格式，无音频。4. 元数据索引：包括时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、样本索引（index）和任务索引（task_index）。数据集的结构（包括动作、多模态观测和序列化episodes）表明它适用于机器人模仿学习、强化学习或视觉运动控制等任务，特别是研究双机械臂系统的感知与动作映射。

原始信息汇总

数据集概述

• 名称: bi_so_101_clothes
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 代码库版本: v3.0
• 机器人类型: bi_so_follower
• 总片段数: 200
• 总帧数: 84,395
• 总任务数: 1
• 分块大小: 1,000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 25 fps
• 数据分割: 训练集 (train) 包含全部 200 个片段。

数据特征

• 动作 (action): 12维浮点数，描述左右肩、肘、腕和夹爪的位置。
• 观察状态 (observation.state): 12维浮点数，与动作维度一致，描述机器人关节状态。
• 观察图像:
  • left_wrist: 640x480 像素，3通道，AV1编码，25 fps 视频。
  • right_wrist: 640x480 像素，3通道，AV1编码，25 fps 视频。
  • right_top: 640x480 像素，3通道，AV1编码，25 fps 视频。
• 时间戳 (timestamp): 浮点数，单值。
• 帧索引 (frame_index): 整数，单值。
• 片段索引 (episode_index): 整数，单值。
• 全局索引 (index): 整数，单值。
• 任务索引 (task_index): 整数，单值。

数据文件格式

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

bi_so_101_clothes数据集基于LeRobot框架构建，旨在为机器人抓取与操作任务提供高质量示范数据。该数据集由一台双臂协作机器人（bi_so_follower）采集完成，总共包含200个示范回合（episodes），累计帧数达84395帧，帧率为25 FPS。数据以Parquet格式存储于分块文件中，每块容量为1000帧，视频数据则采用AV1编码的MP4格式保存，分别存放于指定路径下。所有样本均涵盖同一任务类型，训练集覆盖全部200个回合，无需额外划分。

使用方法

使用bi_so_101_clothes数据集时，用户可通过LeRobot库直接加载。推荐利用Hugging Face的datasets库或LeRobot的专用接口，指定配置名'default'即可读取data目录下的所有Parquet文件。视频帧可被解码为图像数组，配合动作与状态张量，适用于模仿学习、行为克隆或强化学习中的策略训练。数据集结构清晰，支持按回合或帧索引进行切片与批处理，便于快速搭建机器人学习实验流水线。

背景与挑战

背景概述

在具身智能与机器人操作领域，数据驱动的模仿学习方法正日益成为解决复杂精细任务的核心范式。bi_so_101_clothes数据集由基于LeRobot框架构建，聚焦于衣物类软体对象的双臂操作任务，采集自真实的仿人形双臂机器人平台。该数据集创建于近年，涵盖200个完整操作回合，共计84,395帧，以25帧每秒的高频记录了机器人左右双臂各6个关节的精确动作状态与位置数据，并同步采集了三个视角（左腕、右腕、右上方）的高清视觉信息。其核心研究问题在于为衣物折叠、整理等非刚性物体操作提供标准化的训练与评估基准，推动了机器人从刚性操作向柔性操作领域的跨越，提升了模仿学习方法在家庭服务、工业纺织等场景下的泛化能力。

当前挑战

该数据集主要挑战集中于两大层面。其一，衣物作为高度变形的非刚体，其初始构型与动态变化具有极大不确定性，传统的基于刚体模型的规划与控制方法难以准确预测其状态演化，使得机器人通过视觉-动作映射进行精确操控面临显著的领域难题。其二，在数据集构建过程中，需要解决双臂协同操作下的时序对齐与重复采集精度控制问题，确保200个回合中动作轨迹的一致性与物理合理性，同时处理多视角视频与高维动作序列的同步存储与压缩，以在有限数据规模下维持动作模式的丰富度与鲁棒性。

常用场景

经典使用场景

在机器人操作与模仿学习领域，bi_so_101_clothes数据集专为双机械臂衣物操作任务而设计，其核心价值在于提供高保真的多模态示范数据。该数据集收录了200个完整操作回合，包含84,395帧的时序信息，覆盖了左右机械臂各6个自由度的关节位置、速度和力控信号，以及四个视角（左腕、右腕、右上方）的同步视频流。研究者可直接以此为训练素材，构建从视觉观测到动作输出的端到端策略网络，尤其适用于行为克隆与逆强化学习范式。经典的使用方式是将每帧的关节状态与图像输入策略模型，输出12维动作向量，从而让机器人模仿人类示范者完成衣物的抓取、展开与折叠等精细操作。数据集统一采用Apache-2.0许可，便于学术界重复实验与基准测试。

解决学术问题

该数据集精准回应了机器人柔性物体操作领域的核心挑战——缺乏标准化、多模态且含准确动作标签的示范数据。衣物因其高度可变形特性，导致状态空间复杂、动力学建模困难，传统基于物理仿真的方法难以泛化。bi_so_101_clothes通过提供真实机器人执行衣物操作的全流程示范，解决了从高维视觉感知到低维关节动作映射的学术问题。其一，为研究非刚性物体操作中的长时域依赖与接触状态感知提供了稀缺的真实世界数据；其二，为验证模仿学习算法在非结构化任务中的鲁棒性奠定了基石；其三，推动了从单一任务学习向多任务泛化的方向进化，显著降低了双机械臂协同操作研究的入门门槛，在智能机器人自主化进程中具有里程碑意义。

实际应用

在实际生产生活场景中，bi_so_101_clothes所针对的衣物操作能力具备广阔的应用前景。智能家居领域，双机械臂系统可学习该数据集中的示范，自主完成衣物的分类、折叠与整理，替代重复性家务劳动，提升老年人及残障人士的生活质量。纺织与服装制造业中，配备视觉感知的机器人能够依据数据集中获取的操作经验，实现面料的无损抓取与柔性装卸，推动产线自动化升级。此外，在物流仓储环境中，基于该数据集训练的模型可处理包装内布料或衣物的分拣任务，减少人工干预。数据集中包含的多视角视频与动作序列，还为人机协作场景提供了技术支撑——机器人可理解人类对衣物的操作意图，在服务机器人、医疗康复辅助等细粒度操作任务中发挥关键作用。

数据集最近研究

最新研究方向

在具身智能与机器人操作领域，bi_so_101_clothes数据集聚焦于双臂协作衣物操作这一前沿方向。随着家庭服务机器人对柔性物体操控需求的激增，该数据集通过200个高质量示教回合，记录了双臂仿人机器人完成衣物处理任务时的关节运动轨迹与多视角视觉观测，为模仿学习与强化学习算法提供了精细化的训练基准。当前研究热点涵盖基于视觉-运动联合建模的衣物展开、折叠与抓取技能迁移，该数据集的出现填补了公开双臂操作数据在柔性物体交互维度的空白，有望推动家务机器人从刚性操作向自适应柔性操控的范式跃迁，加速服务机器人在真实家居场景中的部署进程。