koch_bimanual_folding_copy

该数据集为HuggingFace LeRobot格式机器人数据集。

This is a robotic dataset in the HuggingFace LeRobot format.

原始信息汇总

数据集概述

基本信息

• 名称: koch_bimanual_folding_copy
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot, koch_bimanual
• 创建工具: LeRobot

数据集结构

• 数据文件格式: Parquet
• 配置名称: default
• 数据文件路径: data/*/*.parquet

元数据信息

• 代码库版本: v2.0
• 机器人类型: koch_bimanual
• 总集数: 101
• 总帧数: 146030
• 总任务数: 1
• 总视频数: 202
• 总块数: 1
• 块大小: 1000
• 帧率 (FPS): 30
• 训练集划分: 0:101

数据路径

• 数据路径模板: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模板: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

观察状态 (observation.state)

• 数据类型: float32
• 形状: [12]
• 名称:
  • left_shoulder_pan
  • left_shoulder_lift
  • left_elbow_flex
  • left_wrist_flex
  • left_wrist_roll
  • left_gripper
  • right_shoulder_pan
  • right_shoulder_lift
  • right_elbow_flex
  • right_wrist_flex
  • right_wrist_roll
  • right_gripper

动作 (action)

• 数据类型: float32
• 形状: [12]
• 名称: 同观察状态

观察图像 (observation.images.laptop 和 observation.images.phone)

• 数据类型: video
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 帧率: 30.0
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 是否包含音频: false

其他特征

• episode_index: int64, 形状 [1]
• frame_index: int64, 形状 [1]
• timestamp: float32, 形状 [1]
• next.done: bool, 形状 [1]
• index: int64, 形状 [1]
• task_index: int64, 形状 [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作与模仿学习领域，高质量的数据集是驱动算法进步的关键基石。koch_bimanual_folding_copy数据集依托于LeRobot框架构建，专为双臂协同的折叠任务设计。该数据集通过在实际机器人平台上采集101个完整演示回合，以30帧/秒的采样频率记录了共计146,030帧的精细操作数据。每个回合的观测状态包含双臂共12个关节的电机角度，同时记录了对应的12维动作指令，并辅以笔记本电脑和手机两个视角的640×480像素视频流，从而构建了多模态、高保真的机器人操作数据集。

特点

该数据集的核心特色在于其面向真实双臂协同作业场景的专精化设计。所有数据均来自koch_bimanual机器人平台，专注于单一折叠任务，确保了数据在特定操作范式下的高度一致性。数据集提供了完整的状态-动作对，其中观测状态与动作空间均为12维连续量，精确映射了双臂各关节的运动学特性。此外，双视角视频记录不仅涵盖了机器人本体的操作视角，还引入了外部环境视角，为后续的多视角感知与模仿学习研究提供了丰富的视觉信息。

使用方法

数据集的存储遵循LeRobot标准格式，以Parquet文件高效存储结构化数值数据，并采用AV1编码的视频文件保存视觉信息。用户可通过LeRobot库的API直接加载与解析数据，利用其内置的DataLoader轻松获取训练、验证所需的批量化样本。数据集已预先划分训练集，覆盖全部101个回合，便于快速开展模仿学习或行为克隆实验。研究人员可根据自身需求，灵活调用观测状态、动作指令及多视角图像进行模型训练与评估。

背景与挑战

背景概述

在机器人学习领域，双臂协作操作因其复杂的协调性与灵活性需求，成为近年来研究的热点方向。koch_bimanual_folding_copy数据集由Hugging Face的LeRobot团队于近期创建，旨在为双臂机器人折叠任务提供标准化的训练与评估基准。该数据集包含101个演示片段，总计146030帧，记录了12维电机状态与对应动作，以及来自笔记本和手机双视角的640×480视频流，以30帧/秒的帧率捕捉完整操作过程。核心研究问题聚焦于如何通过模仿学习实现双臂机器人对布料等柔性物体的精准折叠，这一任务对空间感知、力控制与时序协同提出了极高要求。数据集的影响力体现在其填补了双臂精细操作领域公开数据集的空白，为后续研究提供了可复现的基线，并推动了LeRobot生态在灵巧操作任务中的扩展。

当前挑战

该数据集所解决的领域挑战在于双臂折叠任务本身的高度复杂性：布料等柔性物体具有非线性形变与自遮挡特性，导致状态空间建模困难；双臂协同需实时协调左右手臂的12个自由度，以避免碰撞并完成对称或非对称操作。构建过程中，数据采集面临多模态同步难题，包括双摄像头视频流与电机状态在30帧/秒下的精确对齐，以及动作演示中的人为抖动与不一致性对模型泛化能力的影响。此外，仅包含单一折叠任务与101个片段的数据规模，限制了模型对多样化折叠方式与不同布料材质的适应能力，且缺乏对失败案例的标注，使得学习算法难以从错误中修正策略。这些挑战共同凸显了在受限数据条件下实现鲁棒双臂操作的紧迫性。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，koch_bimanual_folding_copy数据集为双臂协同折叠任务提供了高保真的示范数据。该数据集包含101个完整回合，涵盖12维关节状态与动作空间，以及来自笔记本电脑和手机双视角的30帧每秒视觉观测。其经典使用场景在于训练模仿学习与强化学习算法，使机器人能够从人类演示中习得精细的布料折叠策略，尤其适用于需要双臂协调与柔顺控制的复杂操作任务。

实际应用

在实际应用中，该数据集赋能机器人完成家居服务中的衣物折叠与整理任务，可集成至智能家居系统或工业后整理产线。通过训练出的策略模型，机器人能够适应不同尺寸、材质的布料，并在动态环境中保持操作稳定性。此外，该数据集还支持远程操作与半自主控制系统的开发，降低了对人工示教的依赖，提升了机器人在养老陪护、酒店服务等场景中的实用性与经济性。

衍生相关工作

基于koch_bimanual_folding_copy数据集，衍生出多项经典研究工作。例如，研究者利用该数据训练了基于扩散策略的动作生成模型，实现了从视觉观测到连续动作的高质量映射；另有工作探索了基于对比学习的多视角表示，提升了布料状态感知的鲁棒性。此外，该数据集还催生了针对双臂机器人安全约束的优化算法，以及结合力觉反馈的混合控制框架，为后续灵巧操作研究提供了重要参照与基线。